Ist ja schon irgendwie ein Traum, echten Usern beim Surfen über die Schulter sehen zu können. Das könnte man selbst organisieren, bedeutet aber viel Aufwand und ist letztlich wenig flexibel. Man braucht Kameras, Personal, Zeit und eine passable Organisation. Doch nun kann man solche Tests auch im Netz in Auftrag geben. UserTesting macht es möglich. Echte Surfer überfallen eine Seite nach Wunsch und erfüllen Aufgaben (bestelle…, finde…) oder beschreiben ihren Eindruck.
Das Ergebnis ist ein Screencast, ein Browservideo im Flashformat. Da es sich hier um einen englischsprachigen Dienst handelt, habe ich für einen Test das Smashing Magazine ausgewählt. 19,- Dollar kostete das für einen User – 189,- Dollar wären es für 10 Probanden. In diesem Fall war es eine Benutzerin. Der Screencast im SWF-Format ist gut 16 MB schwer, denn er kommt mit 1024 Pixel Breite – was auch sinnvoll ist. Der Download aus den USA ist recht langsam. Der Audiokommentar der Userin klingt wie übers Telefon und ist mit zahlreichen Störgeräuschen durchsetzt. Das wird aber bei jedem Tester anders ausfallen.
Gut einen Tag dauerte es bis das Ergebnis vorlag. Versprochen wurde auch ein "written review", ein schriftlicher Mitschnitt, der lag aber zusammen mit dem Video nicht vor. Das Testergebnis kann man hier in Augenschein nehmen – Flash ist erforderlich. Es öffnet sich ein neues Fenster/Reiter. UserTesting ist neu. Aber war bringt es? Ich hab’s probiert, bin aber unsicher. Die Idee ist toll, aber reicht die Umsetzung aus?
Sven Lennartz
Sven ist der Erfinder des Dr. Web Magazins, Autor und Herausgeber verschiedener Fachbücher. Als Webdesigner und Texter früher freiberuflich für verschiedene Unternehmen und Verlage tätig. Jetzt Geschäftsführer der Smashing Media GmbH.
Also ich rekrutiere meistens Leute aus meinem Bekanntenkreis für Tests. Ich finde das auch ganz in Ordnung, da die Internet-Kenntnisse sehr unterschiedlich sind und ich damit ein relativ breit gefächertes Feedback bekomme. (Hoffentlich wollen die zukünftig nicht auch 19,- EUR von mir… ;-)
Mit nur einer Testperson wäre ich nicht zufrieden, denn wenn diese Person z.B. schon im Umgang mit Internet und Webseiten geübt ist, fällt das Ergebnis doch sehr einseitig aus.
Meiner Meinung nach müsste theoretisch gesehen sogar ein Grossteil der Probanden der Zielgruppe der Website entsprechen, um wirklich realistische Ergebnisse erzielen zu können.
Das Ergebnis bei UserTesting finde ich daher eher mager und wenig aussagefähig.
Die Aussagen der Dame sind recht oberflächlich, soweit ich das bei dem unerträglichen Geknacke und meinen beschränkten Englisch-Kenntnissen überhaupt verstanden habe. Ansagen wie “Okay, I like the graphic…” bringen mir nicht wirklich etwas.
Obwohl die Lady eindeutig Internet-Erfahrung hat und weiss, wie ihr Browser funktioniert, sind Funktionen wie Suchen nicht einmal ansatzweise getestet worden.
Also da erwarte ich von meinen Probanden etwas mehr…
hAVE pHUN
~~~d(o.o)b~~~
was ich noch hätte erwähnen sollen, man konnte probanden in 3 know-how-stufen “anfordern”. von anfänger bis profi. das was hier ausgewählt wurde ist die stufe dazwischen.
Warum surft man bei so einem Test noch mit Netscape? Oder hab ich was verschlafen?
@Martin: Der neue Netscape basiert ja vollkommen auf Firefox (v2 glaub ich), aber das Icon rechts schaut mehr nach SeaMonkey (Browser-Suite von Mozilla) aus.
Mmmh, im Allgemeinen finde ich das nicht recht nützlich. Wenn man schon User-Tests macht dann, wie schon erwähnt, mit der richtigen Zielgruppe. Bei Smashing Magazine mag das passend sein, bei anderen Seiten werden wesentlich unerfahrene Benutzer die Seite besuchen.
Aber der Test mag für Neulinge im Bereich Webdesign bzw. Usability ganz interessant sein, wer schon länger Webseiten auf einem gewissen Level umsetzt kann für die 19 $ mal essen gehen.
Ich habe das Video eben ohne Ton angesehen und muss sagen, mit dieser Einschränkung sah es in keinster Weise wie ein Usability-Test aus, sondern eher wie eine Produktpräsentation, was aber auch an der nicht sehr spezifischen Aufgabenstellung gelegen haben kann.
So war es eher eine kleine Tour, durchs Smashing Magazine, aber sein wir mal ehrlich:
Kein normaler User wandert mit der Maus erstmal über alle Navigationselemente oder sieht sich die Tooltips der Social-Bookmarking-Links an…
Vielleicht wäre es mit einer spezielleren Aufgabenstellung (finde kostenlose Fonts/Icons) informativer gewesen, aber aus diesem Video kann man keinen “wirklichen” Usability-Test machen, höchstens eine zweite Meinung…
Die Idee klingt gut! Bei Usabilitytests hängt das ganze nicht nur vom Probanden ab, sondern vorallem auf vom Aufgabensteller. Einfach so eine Webseite bewerten zu lassen macht nicht Sinn. Besser ist es konkrete Aufgaben/Ziele zu geben, welche der Benutzer kommentierend erreichen soll. Mit Leuten aus dem Bekanntenkreis habe ich nicht immer gute Erfahrungen gemacht, da viele einfach zu positiv meine Arbeit bewertet haben. Da sehe ich einen grossen Vorteil, wenn man Menschen bewerten lässt, welche man nicht kennt und vermutlich ehrlicher sein können. Hier übrigens eine weitere Möglichkeit kostengünstig einen Usability-Test zu machen:
http://www.slideshare.net/phogenkamp/der-30minutenusabilitytest-fr-jedermann
Gerade professionelle Agenturen setzen auch professionelle Usability-Tests ein. Weil man als Erfahrener Entwickler schnell denkt.. “das verstehen die dann schon…”. Bei Tests sieht man dann, wie oft man daneben gelegen hat und der unerfahrene Nutzer völlig überfordert war. Denke schon, dass Usability-Tests immer sehr sinnvoll sind. Muss natürlich im Rahmen des Budets sein…. ;-)
Eigentlich nicht schlecht. Aber wie wäre es, wenn man ein paar Dollar mehr bezahlt und dafür einen anständigen Ton ohne Kompressions-Knackser erhält.
Ansonsten finde ich die Idee nicht schlecht, einmal völlig fremde Meinungen über die eigene Kreation zu erhalten. Im Freundeskreis kennen viele bereits bestimmte Methodiken und grundlegende Gestaltungsmuster, die man so immer wieder abgewandelt einbringt. Das verändert das Testergebnis ja auch …
Hahahahah die RSS-Button Seite fand sie viel interessant :D
Ich wusste gar nicht, dass Usability-Tests teuer sein müssen?
Komisch ich dachte, dafür braucht man ein paar zielgruppen-nahe Testpersonen, einen Computer, vielleicht eine Videokamera und etwas Zeit?
Nette Idee, aber man könnte ja auch Umfragen unter seinen Nutzern machen, so hat man exakt die Zielgruppe, um die es geht. Wenn die Fragen dann noch entsprechend clever formuliert sind, kommt mitunter auch was sinnvolles dabei heraus.
Die Idee finde ich nicht schlecht.
Die Frage ist nur, ob ich dann wirklich meine Zielgruppe habe, die da klickt.
So was habe ich mal in Deutschland auf einer Messe gesehen und um Infomaterial gebeten. Habs aber nie bekommen. …
Könnte eine schöne Idee sein für Leute, die das wollen.
Die Damenstimme mit den vielen Ähms und OKs schafft’s nicht, einigermassen flüssig zu sprechen, die Site hingegen ist vollkommen überflüssig.
So muss der User unmässig lange auf der Site verharren zur Freude aller Nutzniesser eingebauter Werbung.
Hmm also wirklich professionell klingt das nicht – wahrscheinlich hat die Website für diesen Preis auch gar nicht den Anspruch der Professionalität was auch okay sein kann.
Im Prinzip ist das tatsächlich als würde man ein paar Bekannte Fragen, und eine besser dokumentierte Antwort bekommen.
Positiv könnte noch sein, dass (zumindest ich) den Rat besser annehmen könnte. Ich persönlich bin oft zu stolz und verteidige Features meiner Website, anstatt den Rat anzunehmen, hehe..
Ich find die Ergebnisse nicht gerade brauchbar.
Die Idee find ich trotzdem gut.
Da sollte halt noch ein wenig daran gefeilt werden.
[...] UserTesting Für 29,- US Dollar erhält man einen Screencast (Flash Video) eines Users. Der Tester führt verschiedene zuvor definierte Aufgaben durch und kommentiert diese. Man kann ihn anschließend zuhören und Mausbewegungen sowie Eingaben sehen. Ein solcher Test dauert rund 15 Minuten. Dazu gibt es eine schriftliche Zusammenfassung. Diesen Test habe ich schon im Jahr 2007 einmal durchgeführt im Artikel Ein echter Usability-Test für den schmalen Geldbeutel. [...]