Don’t make me think aloud!

Don’t make me think aloud!

{title} Momenteel worden nog veel usabilitytests uitgevoerd met behulp van het zogenaamde Think Aloud protocol of ook wel ‘hardop denken’ genoemd. In dit protocol is het de bedoeling dat een testdeelnemer tijdens het uitvoeren van een taak vertelt waarom hij/zij op bepaalde links, menu-items, banners en wat dies meer zij klikken. Welke associaties ze daarbij maken enzovoort. Belangrijk hierbij is dat de motieven van keuzes die gebruikers maken aan het licht komen zodat de website beter bij de behoefte van de gebruiker gaat aansluiten. Dit lijkt een goede manier om een usabilitytest uit te voeren.

Echter, het veelgebruikte Think Aloud protocol blijkt sterk onder druk te staan om meerdere redenen:

1. het is onnatuurlijk, niemand praat namelijk achter zijn beeldscherm over hetgeen wat hij/zij bekijkt
2. gebruikers voelen zicht niet zeker over datgene wat zij vertellen waarom de website niet goed functioneert
3. gebruikers voelen een bepaalde druk wanneer zij worden geobserveerd waardoor zij zich anders gedragen
4. gebruikers zijn niet bekend met ‘hardop’ denken
5. gebruikers die ‘hardop’ denken beïnvloeden daarmee de normale werkwijze om een taak succesvol af te ronden en doen daar ook langer over
6. gebruikers vinden het vaak niet fijn om ‘hardop’ te denken

Retrospective Think Aloud en Eyetracking
Om bovengenoemde redenen (nadelen) het hoofd te kunnen bieden, is onlangs het Retrospective Think Aloud protocol in combinatie met Eyetracking geïntroduceerd. Het bedrijf Bunnyfoot maakt hier al succesvol gebruik van. Hierbij worden testdeelnemers tijdens een usabilitytest met rust gelaten om hun taak op een website uit te voeren. Omdat zowel hun kijk- en klikgedrag in kaart wordt gebracht, kunnen we de testdeelnemer na de test ‘confronteren’ met het gebruik van de website. Door het tonen van de kijkmomenten en de kliks aan de testdeelnemer, kunnen de highlights met de testdeelnemer worden besproken. De testdeelnemer is zeer goed in staat om dit van commentaar te voorzien. Uit diverse onderzoeken, waaronder die van de Universiteit van Lancaster (PEEP) en de Universiteit van Tampere (pagina 88), blijkt dat deze methode significant meer usability problemen aan het licht brengt dan een ‘gewone’ usabilitytest waarbij het Think Aloud protocol wordt gehanteerd.  De eigenaar van de site krijgt met de nieuwe methode nog beter inzicht waar de verbeterpunten liggen. Onderstaand zien we een afbeelding van de kijkmomenten op de site van Neckermann. De blauwe stippen zijn de kijkmomenten. Hoe groter de stip, des te langer heeft men naar een bepaald item gekeken. Een rood kruisje is een muisklik (activering). In deze test (geen echte) is de persoon gevraagd te zoeken naar een SD card. De vraag na de test zou bijvoorbeeld kunnen luiden: je hebt intensief naar het linker navigatiemenu gekeken, wat is de reden dat je uiteindelijk op het bovenste menu-item hebt geklikt? Op deze wijze wordt retrospective think aloud toegepast. Noot: uiteindelijk is de SD card na bijna 5 minuten gevonden. Eigenlijk zouden jullie de eyetracking video ook even moet zien ;-)

Wij zullen de retrospective think aloud methode in combinatie met eyetracking in ieder geval ook gaan toepassen, omdat wij hier de grote meerwaarde inmiddels van inzien.

{title}


Geplaatst in

Delen



Er zijn 4 reacties op dit artikel

  • Altijd goed om te kijken wat mensen *doen* ipv wat mensen *zeggen te doen*. Ik geloof dat dit verbal overshadowing heet; doordat je dingen zegt veranderen je acties.

    Leuk weetje: als ooggetuigen het gezicht van een verdachte eerst omschrijven (vertellen) zijn ze slechter in staat om de verdachte te herkennen uit een line up, dan dat ze het gezicht niet beschrijven.

    geplaatst op
  • Maar voor kleinere bedrijven is het soms best mogelijk mensen te laten testen, maar om eyetracking-hardware te betalen... Vergeet het kostenplaatje niet!

    geplaatst op
  • Interessant deze methode, denk dat het nuttige kan zijn. Ik heb echter niet zulke "slechte" ervaringen met hardop denken, krijg zelden de indruk dat mensen zich onnatuurlijk gedragen. Net als bij alle vormen van gebruikersonderzoek heeft ook het hardop denken nogal een laboratorium effect; er is een invloed van de omgeving. Dat heeft eyetracking natuurlijk ook, en achteraf verklaringen zoeken voor je eigen gedrag net zo goed.

    Ik ben wel benieuwd naar onderzoeken met retro think aloud als vervanging voor direct think aloud (om het maar even zo te noemen).

    Wel tricky om eyetracking te koppelen aan het retrospective stuk, want dat zijn twee enorme veranderingen in je proces. Je lijkt in dit artikel twee dingen met elkaar te vergelijken:

    - Gewoon gebruikersonderzoek met hardop denken zonder eyetracking
    - Gebruikersonderzoek ZONDER hardop denken MET analyseren achteraf EN eyetracking.

    Kun je op basis van je ervaring of extern materiaal iets meer vertellen over dit dubbele verschil en wat we ervan moeten denken? Het is natuurlijk logischer om de methoden per variabele te scheiden, ipv in een keer de hele boel om te gooien en te concluderen dat "deze methode significant meer usability problemen aan het licht brengt" :)

    geplaatst op
  • @Ruben
    Het lijk me goed om de aangehaalde onderzoeken in het artikel eens door te nemen.
    Ik merk in de praktijk dat de meeste testdeelnemers, ondanks dat ik het vraag, niet of nauwelijks 'hardop' denken. Ik laat ze gewoon een opdracht uitvoeren zoals ze dat thuis ook zouden doen (online bestellen o.i.d). Achteraf 'confronteer' ik ze met de site zonder de kijkmomenten in beeld te brengen. We lopen dan talloze zaken door die van invloed zijn geweest op het welslagen van de opdracht. In het artikel noemde ik dat we het nu ook gaan toepassen omdat ik mij goed kan vinden in de genoemde knelpunten met de gewone testmethode. Ook kan ik met het, samen met de testdeelnemer, terugkijken van de kijkmomenten beter inzicht krijgen waarom bepaalde keuzes zijn gemaakt. Het zal dan met name gaan om de kijkmomenten die minimaal 400 ms zijn omdat dan de informatieverwerking plaats gaat vinden en mensen zich dat kunnen herinneren.
    Bovendien is het zo dat het 'hardop'denken bij eyetracking testen van grote invloed is op het kijkgedrag. In mijn beleving is dit niet natuurlijk.

    geplaatst op

Plaats zelf een reactie

Log in zodat je (in het vervolg) nóg sneller kunt reageren

Vul jouw naam in.
Vul jouw e-mailadres in. Vul een geldig e-mailadres in.
Vul jouw reactie in.

Herhaal de tekens die je ziet in de afbeelding hieronder


Let op: je reactie blijft voor altijd staan. We verwijderen deze dus later niet als je op zoek bent naar een nieuwe werkgever (of schoonmoeder). Reacties die beledigend zijn of zelfpromotioneel daarentegen, verwijderen we maar al te graag. Door te reageren ga je akkoord met onze voorwaarden.