Echte User-Insights gewinnen - und sich nicht blamieren

Es scheint ja im Prinzip ganz einfach zu sein, einen UX-Test durchzuführen: Nutzer finden, Interview durchführen, Beobachtungen auswerten...

In der Praxis sorgen aber oft kleine Fehler und Pannen dafür, dass ein Test keine guten Ergebnisse liefert oder sogar richtig schief geht. Das ist besonders unangenehm, wenn auch noch diverse Kollegen, Vorgesetzte oder Kunden beim Test zusehen.

Wir haben diese Fehler in der Vergangenheit natürlich auch alle schon selbst erlebt und daraus gelernt.

Die folgenden acht Tipps klingen zwar ziemlich banal, werden euch aber helfen, dass die nächsten UX-Tests reibungslos klappen:

1  “Echte“ Nutzer und keine „Simulanten" rekrutieren!

Der Erfolg eines UX-Tests hängt zu 99% davon ab, dass die echte Zielgruppe im Test sitzt. Nur dann kann man beobachten, ob die Inhalte und Prozesse wirklich stimmen. Dafür müssen die Probanden wirklich zum Testzeitpunkt genau in der Lebenssituation sein, in der sie eine Website oder App auch tatsächlich nutzen würden. Sie müssen z.B. konkret aktuell nach einem neuen Auto schauen oder eine Reise planen oder einen Verwandten mit Alzheimer haben.

Dann verhalten sie sich im Test authentisch und es lassen sich auch die unbewussten Reaktionen beobachten und bewerten. Das lässt sich durch eine "Stellen Sie sich bitte vor..."-Anmoderation nicht ersetzen.

In der Praxis müsst ihr das bei der Probandenrekrutierung berücksichtigen. Erschwert wird das noch dadurch, dass es durchaus Testpersonen gibt, die "lügen und betrügen", um an einer Studie teilnehmen zu können. Ist ja leicht verdientes Geld...

Praktisch müsst ihr bei der Rekrutierung gezielt Fangfragen einbauen, um echte Nutzer von den Simulanten unterscheiden zu können. Das ist bei unserer eigenen Rekrutierung schon fast zu einer Wissenschaft geworden.

Lars (unser Probandenfindeguru) hat in einem Interview auf dem eparo-Blog auch noch mehr über die Herausforderungen bei der Probandenrekrutierung erzählt: Interview mit Lars zu Fake-Probanden

2  Show-Stopper bei der Probandenauswahl vermeiden!

 Der Tipp ist zwar eigentlich schon abgedeckt, wenn ihr die richtige Zielgruppe rekrutiert.

Aber in der Praxis kann es leicht passieren, dass ein Proband in der Vorbefragung plötzlich etwas sagt, was ihn für den Test total unbrauchbar macht.

Beispiele:

„Ich würde online nie einen Vertrag abschließen.“ (für den Test eines Onlinevertragsabschlusses)

"Um die Hausmodernisierung kümmert sich bei uns mein Mann." (beim Test eines Energiesparspecials)"

Von solchen Probanden wird man keinerlei brauchbare Erkenntnisse gewinnen, sondern nur eine kostbare Interviewstunde verschwenden. Das merken auch alle Testbeobachter und sind entsprechend genervt.

Verhindern lässt sich das im Vorfeld bei der Rekrutierung. Wieder kommt es darauf an, genau zu klären, welche Anforderungen der Proband erfüllen muss. Das ist auf jeden Fall viel wichtiger als demographische Daten.

Sollte es doch mal passieren, dass ein Proband überhaupt nicht passt, muss man ihn direkt zu Testbeginn austauschen. Das geht natürlich nur, wenn man eine passenden Ersatzkandidaten draußen sitzen hat.

3  Immer einen Ersatzkandidaten vorhalten.

Es kann immer mal vorkommen, dass ein Proband nicht zum Test erscheint oder sich als ungeeignet herausstellt. Dann sitzen 5-10 Leute im Beobachtungsraum, drehen Däumchen und sind mittelschwer verärgert. Das darf natürlich nicht passieren.

Wichtig ist daher, dass ihr durch Erinnerungsanrufe am Tag vorher sicherstellt, dass der Proband auch tatsächlich erscheint. Gegen plötzliche Krankheiten, Stau oder Lokführerstreik hilft das natürlich nicht.

Zusätzlich müsst ihr daher immer dafür sorgen, dass ein passender Ersatzkandidat zur Verfügung steht. Wir rekrutieren deshalb immer ein/zwei zusätzliche Probanden, die im Idealfall nur fürs Warten bezahlt werden. In der Regel wartet ein Proband drei Stunden am Vormittag und ein zweiter Proband für die drei Interviews am Nachmittag.

Dann ist es kein Problem, wenn doch mal ein regulärer Proband ausfällt.

4  Der Proband darf nicht vorher erfahren, worum es bei dem Test geht!

Noch ein Probandenzitat, das ich nie hören möchte: "Ich hab mir die Seite xyz gestern schon mal angesehen." Das ruiniert den kompletten Testeinstieg und ärgert auch wieder alle Testbeobachter. Brauchbare Erkenntnisse sind so nämlich nicht mehr zu bekommen.

Auch hier hilft die sorgfältige Rekrutierung mit den richtigen Fragen aus denen der potentielle Proband nicht ablesen kann, worum es geht.

Also nicht fragen "Kaufen Sie bei Supermarkt xy?" sondern offen fragen "Bei welchen der folgenden Lebensmittelhändler kaufen sie regelmäßig ein?".

Das ist wirklich wichtig, da es ja durchaus "Fake- Probanden" gibt, die versuchen, sich in Studien einzuschleichen. Das habe ich ja im ersten Tipp schon erklärt.

5  Möglichst realistische Prototypen verwenden

Häufig werden in den UX-Tests ja erste Konzeptansätze mit Hilfe von digitalen Prototypen (Klickdummies) getestet. Hier ist es wichtig, dass durchgängig echte Inhalte verwendet werden. Also keine Blindtexte und keine Platzhalterbilder. Die Nutzer sind sonst schnell verwirrt ("Warum steht das denn hier jetzt in Latein?")

Werden Funktionen und Prozessabläufe getestet, dann müssen diese Abläufe logisch sein. Z.B. müssen bei einem eCommerce-Test die Produktauswahl und Preise sich stimmig durch den Testablauf ziehen. Sonst kommen Fragen „Ich habe einen roten Pulli angeklickt, warum ist jetzt ne Jeans in meinem Warenkorb?“. Wenn das passiert, verliert der Proband den roten Faden und die Testergebnisse leiden.

Hierzu braucht es "nur" etwas Fleiß und Sorgfalt bei der Erstellung des Prototypen. Es ist immer echt schade, wenn durch Schlamperei ein Interview fast wertlos wird.

Jetzt noch ein paar Praxistipps zur Technik. Auch hier können Kleinigkeiten für großen Unmut sorgen.

6  Eine gute Internetverbindung ist Pflicht: LAN statt WLAN!

Während des Usability-Tests sollten sowohl die Testübertragung in den Beobachtungsraum als auch die Seitenaufrufe im Testbrowser einwandfrei und schnell funktionieren. Um Verzögerungen & Störungen zu vermeiden, bitte wenn möglich eine LAN-Verbindung nehmen. WLAN ruckelt manchmal.

7  Dropbox-, Skype- & andere Popups unterdrücken!

Plötzlich auf dem Bildschirm des Probanden auftauchende Popups führen zu unnötiger Ablenkung und Störung des Testverlaufs.

Besonders peinlich sind hier private E-Mail-Notifications des Testleiters oder immer wiederkehrende Pop-ups zu Software-Updates.

Prüft das System vorher, damit das unterbunden wird. Diese Störungen verwirren ja nicht nur die Probanden, sondern werden auch von allen Testbeobachtern bemerkt. Das wirkt richtig unprofessionell.

8  Der Proband muss gut zu sehen und zu hören sein!

Damit während der Tests oder im Nachhinein auf den Aufnahmen das Verhalten des Probanden gut nachvollziehbar ist, müssen Mimik und Gestik perfekt erkennbar sein. Daher sollte man immer für ideale Lichtverhältnisse im Raum sorgen. Ebenso ist das klare Hören seiner Aussagen von großer Bedeutung.

Der Ton wird oft unterschätzt. Man muss auf jeden Fall ein gutes Mikro nutzen und vorher testen, ob die Einstellungen stimmen. Und darauf achten, dass die Umgebungsgeräusche möglichst reduziert werden.

9  Fazit:

Am wichtigsten sind natürlich die perfekten Probanden. Wenn ihr die nicht selber suchen wollt, dann könnt ihr die auch von eparo bekommen. Das ist unser "täglich Brot".

Genauso wichtig wie die Probanden ist der Testgegenstand. Bei der Entwicklung des Prototyps für den Test darf man nicht schlampig sein und muss auch auf die Details achten.

Aber auch die kleinen technischen und organisatorischen Sachen können die Qualität eines Tests wirklich negativ beeinflussen.

Aber mit den acht Tipps habt ihr die schlimmsten Probleme im Prinzip im Griff. Sonst einfach ne Mail schicken...