Mit Crowdtesting die Usability des Onlineshops sicherstellen – Acht Anbieter im Vergleich

Beim Crowdtesting absolvieren und bewerten ganz normale Menschen am eigenen Gerät typische Nutzerreisen auf den Applikationen der eCommerce-Betreiber (Quelle: Pixabay)

Jens Pacholsky

Jens Pacholsky ist freier Journalist und Texter mit Spezialisierung auf IKT und...

Wenn es ein Angstwort in der eCommerce-Welt gibt, dann ist es wohl die Conversion Rate. Seit Jahren suchen Onlineshop-Betreiber nach der Antwort auf die Frage, warum die Besucher am Ende nicht zum Käufer werden. Dabei müssten sie ihren Kunden und Nutzer einfach mal über die Schulter schauen und ihre Usability hinterfragen. Ein optimaler Weg ist dafür das Crowdtesting – das gezielte Testen der eigenen Applikation von Nutzern unter Realbedingungen. Doch nicht jeder Anbieter von Crowdtesting bietet dasselbe.

Bei gerade einmal 2,5 % bewegte sich im dritten Quartal 2016 laut Monetate die globale Conversion Rate von Webshops. In Deutschland sieht es sogar noch düsterer aus. Laut dem ECC Köln wies die Mehrheit eine Conversion Rate zwischen 0,9 % und 1,9 % auf – weit unter dem globalen Durchschnitt.

Onlineshops leben nicht allein von ihren Produkten. Entscheidend für die Besucher ist, ob sie sich auf der Seite zurechtfinden und sie gezielt und klug von der Einstiegsseite zum Kaufabschluss geleitet werden. Hier spielen Einkaufspsychologie und Interaktionsdesign eine nicht zu unterschätzende Rolle. Sie bestellen ja auch nicht in einem Restaurant, dass unordentlich wirkt und dessen Personal Ihnen die Hilfe verwehrt.

erklärt Benjamin Uebel, CEO der Crowdtesting-Plattform RapidUsertests, die typischen Blind Spots von eCommerce-Applikationen.

Die eigenen Kunden testen lassen

RapidUsertests gehört zu einer Reihe Dienstleister in der DACH-Region, die eCommerce-Betreibern sowie Webseiten- und App-Entwicklern anbieten, ihre Applikationen von echten Nutzern auf Herz und Nieren testen zu lassen. Dabei werden nicht aufwendige Labortests mit wenigen Testpersonen in künstlicher Umgebung vorgenommen. Vielmehr werden die Test dort durchgeführt, wo die Applikation am Ende genutzt wird: zu Hause, unterwegs oder im Büro.

Das Konzept dahinter nennt sich Crowdtesting und nutzt die Chance, per Internet eCommerce-Applikationen von echten Menschen auf echten Geräten testen zu lassen. E-Commerce-Betreiber können dabei im Self Service die Tests selbstständig durchführen oder sich im Managed Service bei der Durchführung unterstützen lassen.

Beim Crowdtesting auf Bugs und für Usability absolvieren und bewerten ganz normale Menschen am eigenen Gerät typische Nutzerreisen auf den Applikationen der eCommerce-Betreiber (Quelle: Pixabay)

Beim Crowdtesting absolvieren und bewerten ganz normale Menschen am eigenen Gerät typische Nutzerreisen auf den Applikationen der eCommerce-Betreiber (Quelle: Pixabay)

Für Entwickler, UX-Designer und Betreiber von eCommerce-Plattformen lässt sich das Funktionieren ihrer Applikation auf technische Aspekte (Functionality) und verkaufspsychologische Aspekte (Usability) eingrenzen. Entsprechend wird bei den Crowdtests in Functional Testing und Usability Testing (UX-Testing) unterschieden. Während eCommerce-Plattformen heutzutage die Funktionalität, also Freiheit von Bugs, schon gut auf dem Schirm hat, hapert es bei vielen noch immer an der Usability. Die Übergänge sind natürlich fließend.

In diesem Spannungsfeld bewegen sich auch die acht deutschsprachigen Anbieter von Crowdtesting: TestIO, Testbirds, Applause, Testemit, Testeron, Passbrains, TESTTailor und RapidUsertests. Bis auf Testemit und TESTTailor standen alle Anbieter für Nachfragen im Rahmen dieses Artikels zur Verfügung.

Kennst du unser E-Book-Bundle? Spare jetzt 6,99 €

E-Book Bundle von Andreas Hecht

Wie unterscheiden sich nun die einzelnen Anbieter? Und welcher Anbieter passt zu welchem Projekttyp? Letztlich müssen die Testergebnisse so aussagekräftig sein, dass jegliche verkaufsbehindernden Fehler beseitigt werden können.
Die drei entscheidenden Faktoren dabei sind:

  1. Die Crowd: Wer ist der beste Tester für Ihren Applikation?
  2. Die Dokumentation: Können Sie die Testergebnisse schnell in die Umsetzung bringen?
  3. Der Preis: Welches Bezahlmodell passt zu Ihren Testanforderungen und wo erhalten Sie das beste Preis-Leistungsverhältnis?

Functionality in Abgrenzung zur Usability

Das Functional Testing beinhaltet den Check von Webseiten und Apps auf ihre technische Fehlerfreiheit. Beim Functional Testing ist deshalb das Ziel, Bugs bzw. Programmierfehler zu beseitigen, welche den Kaufabschluss:

  • verhindern (fehlende Seiten oder Links, Ladefehler, Abstürze, Programmierfehler in der Registrierung),
  • sehr stark erschweren (fehlerhafte Darstellung, lange Ladezeiten) oder
  • rechtlich angreifbar machen (zum Beispiel durch ein fehlendes Impressum).

Neben Problemen bei einzelnen Bezahlmethoden funktionieren z. B. häufig Social Logins und bestimmte Emailadressen bei der Registrierung nicht, so Jan Schwenzien, CTO bei TestIO.

Und Jan Wolter, Europachef bei Applause ergänzt

Gutscheine, die für dieselbe Bestellung mehrmals genutzt werden können; unerwartete Begrenzungen bei der Anzahl der Artikel, die Nutzer in den Einkaufswagen legen können, was nicht selten zu Abstützen führt; Bilder, die für spezifische Geräte-Browser-Kombinationen nicht richtig gerendert sind oder schlicht Bildschirmeinstellungen, die es unmöglich machen, eine Bestellung aufzugeben (Links oder Buttons, die abgeschnitten sind),

als klassische Bugs.

Beim Functional Testing zählt neben der Expertise der Tester vor allem die reibungslose Integration in die eigene Bugtracking-Software (Quelle: TestIO Webseite)

Beim Functional Testing zählt neben der Expertise der Tester vor allem die reibungslose Integration in die eigene Bugtracking-Software (Quelle: TestIO Webseite)

Im Gegensatz dazu werden beim Usability Testing weniger diese technischen Fehler berücksichtigt – obwohl diese meist automatisch mit gemeldet werden. Vielmehr geht es bei der Usability jedoch um Aspekte, die den Besucher bei ihrer Kaufentscheidung beeinflussen. Im Mittelpunkt stehen somit Fragen zur:

  • Bedienbarkeit,
  • Auffindbarkeit,
  • Verständlichkeit und
  • Einfachheit der Nutzerreise vom Zugang bis zum Kauf (Sales Funnel).

“Die Liste an vermeidbaren Conversion-Rate-Killern ist lang und meist sehr individuell”, bestätigt Benjamin Uebel von RapidUsertests. “Angefangen bei der Navigation, die durch Unübersichtlichkeit und schlechte Funktionalitäten z. B. bei der Autovervollständigung Kunden abschreckt. Über Filter, die nicht dem Suchverhalten der Besucher entsprechen, und fehlende Inhalte auf der Produktdetailseite. Bis schlussendlich zu all den kleinen Details der Kaufseite, wo noch einmal Vertrauen, Transparenz und Privatsphäre eine große Rolle spielen.”

Diese Unterscheidung zeigt sich bei genauerem Hinschauen auch bei den Crowdtesting-Anbietern. Die Angebote für das Functional Testing sind weitestgehend standardisiert und vergleichbar. Schließlich geht es beim Functional Testing vorrangig um klare technische Fehler, die einen direkten Effekt haben (Abbruch, Fehlleitung etc.). Beim UX-Testing wird es dann jedoch ungenau. Auch auf Nachfragen erhält man mehrheitlich Wertversprechen und Claims anstelle konkreter methodischer Aussagen. Die Berliner RapidUsertests entpuppen sich in diesem Zuge als einziger Dienstleister mit einer dezidierten Usability-Agentur im Hintergrund, dessen Team aus Psychologen und Interaktionsdesignern spezifisch für diese Testings rekrutiert wurde.

Dennoch bieten fast alle Crowdtesting-Dienstleister im DACH-Raum sowohl Functional Testing als auch Usability Testing an (siehe Grafik). In der Regel stammen die Anbieter jedoch originär aus dem Feld des Functional Testing oder zeigen hier ihre Kernkompetenz.

Unterschiede zwischen den Anbietern von Functional Testing

Wie bereits angedeutet, bleiben die Anbieter für Functional Testing – zumindest im Rahmen ihrer Selbstdarstellung – weitestgehend vergleichbar:

  • Zusammenarbeit mit professionellen Testern mit häufig technischem Hintergrund. Teilweise werden Ottonormalverbraucher hinzugezogen, um einer Betriebsblindheit der Profis vorzubeugen (diese konzentrieren sich häufig auf die kritischen und besser vergüteten Bugs).
  • Abdeckung (fast) aller Gerätetypen, Konfigurationen und Betriebssysteme.
  • Mehrheitlich identisches Portfolio mit Sanity Tests (Kurztest auf kritische Bugs), Security Tests, Regression Tests (Bugtest bei Code-Änderung) und Lokalisierungstests für verschiedene Länder und Kulturräume. Applause, Testbirds und passbrains bieten zudem End-To-End Tests, bei denen der gesamte Bestellvorgang bis zur Reklamation durchlaufen wird. Testbirds bietet zusätzlich das sogenannte Global Real Device Network (GRDN) an. Bei dieser Leistung können Unternehmen direkt auf Geräte von Testern zugreifen und selbstständig Tests an diesen durchführen – was jedoch auch einen Mehraufwand für die Unternehmen bedeutet.
  • Dokumentation über Bugreports mit allen relevanten Daten und Screen Captures (Foto und Video).
  • Echtzeitmonitoring und Bugexport über proprietäre Cloudware.
Einige Anbieter locken mit individuellen Leistungen zu individuellen Preisen. Bei Functional und Usability-Testing-Anbieter Applause scheint der entscheidende Faktor jedoch die Mitarbeiterzahl ihrer Kunden zu sein: links das Online-Preisangebot für einen einfachen Test bei 1-25 Mitarbeitern, rechts dieselbe Leistung bei 101-250 Mitarbeitern (Quelle: Applause Webseite, Kollage)

Einige Anbieter locken mit individuellen Leistungen zu individuellen Preisen. Bei Applause scheint der entscheidende Faktor jedoch die Mitarbeiterzahl ihrer Kunden zu sein: links das Online-Preisangebot für einen einfachen Test bei 1-25 Mitarbeitern, rechts dieselbe Leistung bei 101-250 Mitarbeitern – die 10 zusätzlichen Teststunden wurden ungefragt dazugebucht (Quelle: Applause Webseite, Kollage)

Verwunderlich ist bei dieser Vergleichbarkeit und der starken Automatisierbarkeit der Projekte allein die Nebellandschaft der Preisstrukturen. So haben TESTTailor ihren Preiskalkulator mittlerweile von der Webseite genommen. Applauses Online-Kalkulator wirkt wie eine reine Leadgenerierung, die zudem für verschiedene Unternehmensgrößen verschiedene Preise ausgibt. Testbirds wiederum versteckt ihre Preise hinter einer Kryptowährung, die nach dem Fotolia-Prinzip funktioniert. Im Interview liegt der Aufwand für einen Crowdtest bei mindestens 1.500 €, während auf der Webseite von “ab 2.000 €” gesprochen wird. Die Nutzung der Cloud-Software muss zudem monatlich hinzugebucht werden.

Halbwegs transparent bleiben passbrains und TestIO, die klare – wenn auch unterschiedliche – Preismodelle ausweisen. Bei passbrains wird pro Projekt abgerechnet, während Unternehmen bei TestIO eine monatliche Pauschale zahlen, mit der unbegrenzt getestet werden kann. Ein komplett anderes Preismodell verfolgt dagegen Testeron. Die Crowdtest-Plattform versteht sich als Community, auf der im Sinne von Geben-und-Nehmen kostenlos getestet wird. Wer seine Applikation z. B. von zehn Leuten testen lassen möchte, muss selbst zehn Tests als Tester bestritten haben.

Aufgrund ihrer Transparenz punkten beim Functional Testing somit vor allem TestIO und passbrains.

Crowdtesting für Usability Testing

Das Crowdtesting für Usability gestaltet sich im Gegensatz zum Functional Testing komplexer. Das spiegelt sich auch in den Leistungen und methodischen Ansätze wider.

Zu den Anbietern von UX-Crowdtests gehören neben RapidUsertests und Applause noch Testbirds und passbrains. Auf Testemit können zwar ebenfalls Usability Testings durchgeführt werden, jedoch ist hier keine gesonderte Testerauswahl nach Zielgruppen möglich – eine Grundvoraussetzung für das UX-Testing. TestIO bieten auf ihrer Webseite ebenfalls UX-Testing an, arbeiten für diesen Service jedoch mit einer dezidierten UX-Agentur zusammen. RapidUsertests ist von allen der einzige Anbieter im Vergleich, der sich konkret und ausschließlich auf Usability spezialisiert hat. Die Plattform wird von der Userlutions GmbH entwickelt und betreut, die als spezialisierte Usability-Agentur auf ein Team aus Psychologen und Interaktion-Designer zurückgreift.

Die Crowd: Amateur schlägt Profi

Beim UX-Testing muss die Crowd zwei Dinge mitbringen: Unvoreingenommenheit sowie die Vorlieben und das Nutzerverhalten der jeweiligen Zielgruppe. Im besten Fall gehören die Tester selbst zur Zielgruppe. Die Tester sollten die Käufer genau widerspiegeln.

Dementsprechend groß muss die potentielle Crowd sein, aus der die richtigen Tester ausgewählt werden können. Applause versteht sich mit 300.000 Testern weltweit dabei als größte Agentur. RapidUsertests erwähnt jedoch im Interview, in Zusammenarbeit mit Partnerpanels bei Bedarf weltweit auf über 11,5 Millionen Tester zugreifen zu können. Solche Feinheiten sind oftmals nicht auf den Webseiten zu finden.

Selbst bei einem großen Testerstamm entscheidet am Ende jedoch, ob die Zielgruppe damit abgebildet werden kann. Applause und passbrains versuchen, diesem Anspruch über eine Mischung der Crowd aus Profitestern und Ottonormalverbrauchern gerecht zu werden. Für betreute Projekte werden UX-Experten aus der Community rekrutiert. RapidUsertests und Testbirds dagegen setzen bei ihrer Crowd vollständig auf Endverbraucher. Beim Managed Service betreuen bei beiden Anbietern Inhouse-Experten mit mehrjähriger UX-Erfahrung die Projekte. Sowohl Testbirds als auch RapidUsertests schaffen somit den Spagat zwischen Zielgruppen-Fokus auf der einen Seite und verlässlichen Experten auf der anderen Seite.

RapidUsertests geht dabei noch einen Schritt weiter und adressiert ein besonderes Problem beim Testing: die Übertestung. Bei Testern stellt sich bei einer hohen Testfrequenz häufig eine Art Betriebsblindheit ein. Die Tester schauen irgendwann nur noch auf die bekannten und häufigsten Fehler und haben auch die grundsätzliche User Journey dermaßen verinnerlicht, dass sie jedes Testdesign (betriebs-)blind durchspielen. Kleine Fehler, Widersprüche und Ungereimtheiten fallen dann häufig nicht mehr auf. RapidUsertests stellt deshalb sicher, dass ihre Tester maximal 8 Mal pro Monat zu Tests eingeladen werden.

Testeron fährt eine andere Strategie: Die Plattform versteht sich als Community, bei der das Geben und Nehmen im Mittelpunkt steht. Kernfokus liegt auf dem Functional Testing, Usability kann aber auch getestet werden (Quelle: Testeron Webseite)

Testeron fährt eine andere Strategie: Die Plattform versteht sich als Community, bei der das Geben und Nehmen im Mittelpunkt steht. Kernfokus liegt auf dem Functional Testing (Quelle: Testeron Webseite)

Die Ergebnisdokumentation: Die unmittelbare Reaktion zählt

Für eine sehr gute Usability ist eine reibungslose User Journey der aussagekräftigste Indikator. Und diese wird sehr unmittelbar und häufig unbewusst vom Nutzer wahrgenommen. Wie finde ich mich auf der Seite zurecht? Fühle ich mich hier wohl? Möchte ich hier meine Kreditkartendaten eingeben? Die Herausforderung, denen Crowdtest-Anbieter deshalb gegenüberstehen, ist das Einfangen der unmittelbaren Reaktionen, Gedanken und Gefühle der Tester.

Dennoch beschränken sich die meisten Anbieter beim Standardauftrag auf schriftliche Aufzeichnungen und Rating Scores, die teilweise erst im Nachhinein durch die Tester ausgefüllt werden. Diese werden zwar durch Screenshots oder Screencasts unterstützt, die jedoch erst im Nachhinein (Reproduzierung des Fehlers) aufgezeichnet werden. Eine Unmittelbarkeit der Nutzerwahrnehmung wird damit nicht erreicht.
Eine Alternative dazu sind die sogenannten Think-aloud-Videos. Bei diesen werden neben der Nutzerreise auf dem Screen die Emotionen der Tester in Echtzeit aufgezeichnet. Die Tester sind dabei angehalten, direkt und ungefiltert ihre Emotionen und Gedanken wiederzugeben und ihr Handeln zu kommentieren. Dadurch erhalten eCommerce-Betreiber eine sehr unmittelbare Aufzeichnung darüber, wie sich potentielle Kunden an welcher Stelle auf der Webseite zurechtfinden und fühlen.

Zwar bieten alle Crowdtesting-Dienstleister Think-aloud-Videos an. Nur bei RapidUsertests und Applause gibt es die Think-aloud-Videos jedoch standardmäßig als Dokumentation. Bei allen anderen sind diese limitiert (passbrains) oder gegen Aufpreis (Testbirds) erhältlich.

Die Leistungen: Für jede Entwicklungsstufe ein Test

Typische UX-Test-Kategorien sind bei allen Anbietern Prototyp- und Betatests sowie End-To-End-Tests. Kein Wunder: sie bilden die Meilensteine der Produktentwicklung.

Oftmals lohnt es sich jedoch, während der frühen Entwicklungsphase auch konzeptionell tiefer einzusteigen. So bieten RapidUsertests und die Testbirds zusätzlich Wettbewerbsanalysen sowie die Card-Sorting-Methode für die Entwicklung der perfekten Navigation. RapidUsertests ermöglicht darüber hinaus Tests, um die Wirkung eigener Werbemaßnahmen zu testen – eine gute Möglichkeit, dem nächsten Shitstorm vorzubeugen.

Die Leistungen können sowohl im (günstigeren) Self Service als auch im Managed Service eingekauft werden. Einzige Ausnahme bildet Applause, die ausschließlich auf Managed Service setzen. Testbirds und RapidUsertests haben ihre Service Level weiter ausdifferenziert, um mehr Budget-Flexibilität zu ermöglichen. Bei beiden gibt es einen weiteren Servicelevel (Self Service Plus), bei dem Unternehmen bei der Testerstellung unterstützt werden, die Testdurchführung jedoch selbstständig durchführen. RapidUsertests bietet zudem als vierten Servicelevel Konzeptionsworkshops an, in denen im Anschluss an einen UX-Test eine funktionierende Lösung entwickelt wird.

Klare Preisstrukturen, aussagekräftige Testdokumentation und - wie hier - eine hohe Transparenz darüber, wie so ein Crowdtestingprojekt für Usability eigentlich aussieht, findet man selten auf den Webseiten der Anbieter (Quelle: Rapidusertests Dashboard Demo)

Klare Preisstrukturen, aussagekräftige Testdokumentation und – wie hier – eine hohe Transparenz darüber, wie so ein Crowdtestingprojekt eigentlich aussieht, findet man selten auf den Webseiten der Anbieter (Quelle: Rapidusertests Dashboard Demo)

Die Preise: Lichtblicke im Nebel

Wie schon beim Functional Testing berechnet Applause die Preise individuell und projektbezogen, während die Kryptowährung bei Testbirds eher verunsichernd wirkt. Auf Nachfrage bei Testbirds kostet ein Test mit 20 Testern im Self Service 10 BirdCoins, was – je nach Menge der gekauften Coins – mindestens 2.200 € entspricht, zuzüglich der Nutzung der Cloudware.

Passbrains und RapidUsertests beweisen hier mehr Transparenz mit einer klaren Abgrenzung der Leistungen und Projektgrößen. So beläuft sich bei passbrains der Aufwand für einen vergleichbaren Test auf rund 1.390 €. Die Ergebnisse liegen binnen 5 Tagen vor.

Bei RapidUsertests liegen die Kosten je nach Testgeräten (Desktop vs. Mobil) zwischen 780 € und 1170 €. Die Ergebnisse erhalten Unternehmen hier bereits nach nur 2 Tagen. Kleinere Projekte (z. B. mit nur 7 Testern) ermöglichen sogar Testergebnisse binnen 24 Stunden.

Fazit

Beim UX-Testing sind vor allem zwei Dinge wichtig: die Auswahl der richtigen Zielgruppe und die Dokumentation der unmittelbaren Reaktionen. Diese Detailfragen werden in der Regel nicht auf den Seiten der Dienstleister erläutert, was eine direkte Vergleichbarkeit schwierig macht. Im Rahmen der Interviews haben sich dennoch klare Unterschiede herauskristallisiert:

  • Testbirds und RapidUsertests stechen mit einer klaren Endnutzer-Orientierung heraus.
  • Applause und RapidUsertests bieten als einzige Crowdtester standardmäßig und ohne Aufpreis eine vollständige Dokumentation in Think-aloud-Videos an.
  • Die höchste Preistransparenz bieten passbrains und RapidUsertests mit klaren Paketpreisen.

Gerade die Ungenauigkeit vieler Dienstleister bei der Angebotsformulierung im Usability-Testing erschwert die Einschätzung der Ergebnisse. Es empfiehlt sich deshalb, den Anbietern zu vertrauen, die sowohl ein ausgewiesenes Wissen zu Usability und Kaufpsychologie vorweisen können, als auch möglichst transparent mit ihrer Preisgestaltung und Ergebnisdokumentation umgehen. Diesbezüglich hat sich zum Anbietervergleich 2015 nichts geändert. In Bezug auf die genannten Kriterien überzeugt im Vergleich aller Anbieter vor allem RapidUsertests.

Jens Pacholsky

Jens Pacholsky ist freier Journalist und Texter mit Spezialisierung auf IKT und Startups. Nebenher ist er Content-Stratege bei den Pionerds (http://www.pionerds.land/) und aus altem Sentiment Musikjournalist.

Hinterlasse einen Kommentar

Hinterlasse den ersten Kommentar!

Benachrichtige mich zu:
avatar
wpDiscuz