Usability mythe #4: Usability onderzoek geeft het antwoord
Er moet me iets van het hart. Usability is niet de oplossing. Het is niet eens een echt antwoord, als ik eerlijk ben. Nee, meestal levert usability onderzoek juist meer vragen en onzekerheden op. Usability onderzoek levert niet het onomstotelijke wetenschappelijke bewijs, het geeft je niet gelijk of ongelijk. En vaak weet je vantevoren niet precies wat je ervan gaat leren. Daarover gaat dit artikel in de Usability Mythen serie (eerder: 3x klikken, nieuwe vensters en dure usability.
Statistisch verantwoord?
Een vraag die vaak gesteld wordt is of een usability onderzoek wel betrouwbaar is. Of het nu gaat om een gebruikersonderzoek, webstatistieken of zelfs een expert review. Levert het wel statistisch significant bewijs? Zijn de cijfers wel betrouwbaar te extrapoleren naar de rest van het jaar, de doelgroep, de markt of de website?
Nee, meestal niet. Maar dat is ook niet erg. Het is simpelweg niet relevant en efficiënt om te verwachten dat usability onderzoek wetenschappelijk perfect te krijgen is. Laat dat maar aan wetenschappers over, die zijn daar toch beter in dan jij met je marketing team. Uit onderzoek blijkt bijvoorbeeld dat eyetracking heatmaps stabiel zijn bij meer dan 30 respondenten. Maar dat betekent niet dat je niks kunt leren van die eerste 29 gebruikers!
Matcht de doelgroep met respondenten?
Een vriend van mij is dokter en kon me wel schieten toen ik vertelde over het usability onderzoek van Eduhub waarbij we met 6 gebruikers testten. Hoe konden mijn conclusies nou ergens op slaan, die 6 mensen kwamen allemaal uit Groningen en hadden misschien wel hele rare achtergronden en denkbeelden!
Gelukkig zijn er bureaus die respondenten voor je regelen en daarbij rekening kunnen houden met je wensen omtrent geslacht, opleiding en interesses. Maar in mijn ervaring maakt het weinig uit of iemand MBO of Universiteit heeft afgerond. En zelfs of iemand 20 of 40 is, werkeloos of workaholic. De meeste mensen ondervinden de meeste usability problemen. Als jouw bestelproces vaag is,is het voor mij, mijn moeder en mijn (digibetische) vriendin ook vaag.
Factoren als internet ervaring en interesses zijn vaak belangrijker dan demografische kenmerken. Denk bijvoorbeeld aan de sites die iemand al gewend is te gebruiken, dat bepaalt misschien of de interactie patronen makkelijk of moeilijk te begrijpen zijn.
Is de methode wel te interpreteren?
Ook veel gehoord: “Maar deze cijfers kunnen met een beetje fantasie ook het tegenovergestelde aantonen!”. Bijvoorbeeld het hanteren van aantal pageviews per bezoek als succesfactor. Veel pageviews kan betekenen dat iemand heel tevreden is met de site, maar misschien kan de bezoeker juist niet vinden wat ‘ie zoekt… Zoals bij alle vormen van (online) onderzoek geldt dat je je aannames moet staven.
In het voorbeeld van de pageviews (uit webstatistieken) kun je met een enquete achterhalen of je bezoekers ook wel echt tevreden zijn. En andersom kun je je usability gebruikerstest resultaten staven door te kijken of je dezelfde patronen in je webstatistieken terugvindt.
En wat een usability expert zegt kan haaks staan op jouw eigen bevindingen. Bijvoorbeeld omdat jij een specifieke vreemde doelgroep hebt die zich anders gedraagt, of omdat je gebruikers al aan je site gewend zijn (denk aan het zooitje van Hyves). Wat je in eyetracking onderzoek leert kun je vaak op 10 manieren interpreteren. Het is dan zaak om de grote lijnen eruit te halen en te staven met andere cijfers en onderzoek om te zien of mensen inderdaad die oranje knop niet zien of depressief raken van jouw lange teksten.
Maakt het dan allemaal niks uit?
Ik wil niet zeggen dat het nutteloos is om te proberen respondenten te werven die in je doelgroep vallen. Die ringtone download website kun je beter niet met bejaarden testen. Van mij mag (moet!) je best nadenken over de betrouwbaarheid van cijfers en andere bevindingen.
Maar de tijd die je daarmee kwijt bent en de weerbarstigheid van praktijk vs. theorie zorgen ervoor dat je vaak beter je tijd kunt steken in andere dingen. Zoals het ontwerpen van verschillende varianten van webpagina’s om ze in kleine stappen te testen.
Usability onderzoek gaat wat mij betreft dus om het krijgen van inspiratie om verder mee te testen. Je ziet die ene gebruiker iets geks doen en vraagt je af wat dat betekent. Of je krijgt het gevoel dat iedereen eigenlijk helemaal geen behoefte heeft aan die coole nieuwe feature (dat gebeurde bij Eduhub…). Of je wordt weer even met je neus op feiten gedrukt die je eigenlijk al wist (goh, ze lezen die teksten toch wel, als ze eenmaal geïnteresserd zijn!).
Probeer niet teveel eisen te stellen aan de betrouwbaardheid van je usability onderzoek. Maar doé het gewoon, doe het vaak en kijk wat je ervan leert…
Ik ben het met je eens. Alhoewel usability-onderzoek een goed instrument is om websites te verbeteren en nieuwe sites/interactie-ontwerpen te testen, mag de uitslag nooit leidend zijn. Door te veel belang aan de resultaten van een usability-onderzoek te hechten, komen er nooit nieuwe, innovatieve weboplossingen op de markt. Een website moet logisch en vanzelfsprekend werken, maar mag daarnaast de gebruiker ook verrassen. Door te veel usability-onderzoek op een nieuw concept los te laten, ontwikkel je enkel bestaande concepten.
Floor, dank je. Al is jouw conclusie niet hetzelfde als die van mij 🙂 Ik denk dat usabilty onderzoek een grote plaats in moet nemen bij conceptontwikkeling om nieuwe ideeen op te doen van gebruikers. Ik kan je verzekeren dat veel ideeen worden geboren door het observeren van mensen.
Usability onderzoek mag best leidend zijn, maar je moet niet verwachten dat je overal een antwoord op krijgt. In die zin zijn we met elkaar eens dat usability onderzoek niet the end-all-be-all is.
Ruben, Usability onderzoek waar jij het in je verhaal over hebt, lijkt me inderdaad vrij zinloos zonde van je tijd en duur. Het is verrassend dat iets als het gesprek aangaan met je doelgroep als niet elangrijk wordt gebracht. Dit doet mij denken aan de tijd dat we nog met zijn allen in de internet bubbel leefden eind jaren negentig en er maar klakkeloos vanuit gingen dat iedereen het wel snapte. En snapten ze het niet, nou ja dan behoorden ze niet tot de doelgroep.
Waar het om gaat is dat je met je doelgroep praat. Zijn dat de 20tigers, dan praat je met hun en zijn dat je opa en oma (al dan niet digibetisch), nou ja dan moet je met hun praten.
Zorg dat je de juiste tools gebruikt voor je onderzoek en zorg dat je de juiste doelgroep gebruikt voor je test. Anders is iedere test of vorm van testen bij voorbaad zinloos en zonde van de energie, tijd en geld.
PS. Usability beschrijft de ouderwetse Software test interpretatie. User centered design zou je eigenlijk moeten beschouwen aangezien dit het complete concept omvat en beschouwd.
@ Ruben : Leuk inzicht in usability en je hebt absoluut gelijk dat het onderzocht moet worden. Gevaar van user centered design, door bijvoorbeeld deze usability onderzoeken, is het saaie eind product wat Floor van Riet geheel terrecht aangeeft. Donald A. Norman vat het mooi samen:
“It is not enough that we build products that function, that are understandable and usable – we als need to build products that bring joy and excitement, pleasure and fun, and yes, beauty, to people’s lives.”
Als je naar meer wilt kijken kom je al snel bij User Experience waar Paul Veugen hier al eerder wat nuttige bijdragen over heeft geschreven. Niet geheel toevallig ben ik daar ook op aan het afstuderen bij eBuddy.
Ik denk dat webstatistieken bij bestaande sites vaak al veel inzicht kunnen geven in usability. Ik heb ooit als onderzoeker gewerkt bij een beloningsonderzoek. We hadden toen ik daar kwam ongeveer 7.000 mensen die het onderzoek begonnen en iets minder dan 3.500 die het einde haalde. Ongeveer 50% uitval dus (iets meer). Dat vond ik te veel. Dus ik heb eens naar de stats gekeken en wat bleek? 50% van de uitval (dus 25% van het totaal aantal gebruikers) stopte op 1 onderdeel van het onderzoek (dat 2 pagina’s vragen besloeg). Dus toen heb ik de keuze gemaakt: willen we dit allemaal weten? Ja, het is leuk, maar waar is echt noodzakelijk. Van de 70 variabelen die we vroegen heb ik er geloof ik 5 over gelaten.
De rest van de enquête was ook aangepast (onderdeel van groot re-design) en het totaal van 50% viel terug naar een normalere 15% die het onderzoek niet afmaakte (de invultijd ging van 45 minuten naar 20 minuten) en van die 7.000 bleven er dus voortaan bijna 6.000 over.
Bij bestaande sites kan je vaak veel afleiden uit statistieken. Die moet je dan wel hebben natuurlijk (en als ik b.v. lees dat 66% van de W&S;bureaus geen statistisch programma nog geeft op zijn site… ai). En je moet ze weten te interpreteren én de vraag stellen: wil ik dit? Of is dit absoluut noodzakelijk? En is er niet een andere manier om toch aan die informatie te komen?
Dus voor bestaande concepten zou ik eerst eens naar de stats kijken en dan kan je vaak de probleemspots op de site al identificeren. Eventueel kan je daarna usability onderzoek doen op individuele basis (eyetracking of gewoon commentaar leveren)
Mark: User centered design is voor mij een verschijningsvorm van usability verbetering. Usability onderzoek is gewoon een fase in het UCD proces van analyse(concept)-design-evaluatie-implementatie-analyse-design-evaluatie- etc…
Vaak wordt ook nog een verschil geforceerd tussen usability en persuasion, dat lijkt een beetje op wat jij zegt. Ik vind die definities niet zo interessant, maar je hebt helemaal gelijk dat het erop uitkomt dat je met je doelgroep moet praten en open moet staan voor wat je leert 🙂
Jelle: Ik geloof niet dat usability onderzoek over het algemeen innovatie in de weg staat. Wat Don Norman zegt klopt natuurlijk, maar de point daarvan lijkt mij niet da user centered design een gevaar is. Ik zou zeggen dan gebruikers een vorm van input zijn, maar dat innovatie en creativiteit dat net zo goed zijn.
De iPod en al het andere wat Apple voortbrengt worden vaak als voorbeeld van anti-ucd gezien omdat Jobs wel eens zegt dat ze bij productontwikkeling geen gebruikers gebruiken. Ik vind het gebruiken van dat voorbeeld niet terecht, want (het idee voor) de iPod is juist ontstaan door observatie van gebruikers. Er bleek behoefte aan een MP3 speler met een betere interface en een mooier uiterlijk, en dat is wat Apple heeft gemaakt. En om het compleet te maken, kijk eens hoeveel iteraties de iPod al heeft gehad. Is dat niet een mooi voorbeeld van het UCD proces?
Bas: leuk voorbeeld, thanks. Jouw conclusie uit de statistieken zou echter wel helemaal verkeerd kunnen zijn. Of wellicht vielen mensen maar over 1 vraag van die 2 pagina’s. Stats geven jou de eerste tip over waar het probleem zit, maar zeggen nooit iets over de reden, of (afhankelijk van het detailniveau van je stats) waar het probleem precies zit.
Als je met 5 van de 70 variabele ook hetzelfde onderzoek kon doen, tja, logisch dat je dat “usability” probleem dan oplost 🙂 Neemt niet weg dat je punt natuurlijk klopt en dat er over het algemeen teveel onzin op het verkeerde moment aan de aanstaande klant wordt gevraagd…
Ruben, trust me, als je de pagina’s had gezien, wist je waar het zat 🙂
Maar serieus, natuurlijk heb je gelijk.
‘all I see is misery, for myself when I look trough the eyes of someone else’ (Epica)
Je moet je verplaatsen in wat je denkt dat mensen denken, iets wat natuurlijk eigenlijk niet kan, hoewel het wel de basis van het marketing vakgebied is.
In dit geval was het heel erg duidelijk waar het probleem zat, namelijk de hoeveelheid die gevraagd werd. Het was namelijk 70 keer dezelfde vraag, over een ander ‘onderwerp’, het ging over welke trainingen mensen gevolgd had. Maar in veel gevallen is het niet zo helder, maar kunnen dergelijke stats je wel de bottleneck aangeven. En het identificeren van de juiste bottleneck is het begin van het oplossen van een probleem.
Floor: Ik denk niet dat usability behoudend werkt en innovatie uitsluit. Eén voorbeeld: de iPod van Apple.
Eigenlijk maakt het voor usability niet uit of iets behoudend of innoverend is. Usability tracht gewoon een antwoord te bieden of het geschikt is voor een beoogde doelgroep, in een bepaalde context.
Hier heb ik het toch even lastig mee.
U stelt dat:
“Maar in mijn ervaring maakt het weinig uit of iemand MBO of Universiteit heeft afgerond. En zelfs of iemand 20 of 40 is, werkeloos of workaholic. De meeste mensen ondervinden de meeste usability problemen. Als jouw bestelproces vaag is,is het voor mij, mijn moeder en mijn (digibetische) vriendin ook vaag.”
Wel dit is fout. Het is een variant op “Alle gebruikers zijn zoals mij”.
Weliswaar delen we allen dezelfde cognitieve beperkingen en mogelijkheden, toch zijn er individuele verschillen ook.
Het maakt zeker wat uit of iemand digibetisch is of een echte nerd. Beide gebruiken een ander jargon, hebben andere verwachtingen. Bij de eerste groep zal je een interface moeten leveren die het leercomfort ondersteunt, die hun handje vast neemt. De nerds hebben dit niet zo graag en hebben liever kracht en flexibiliteit maw zij hechten meer belang aan gebruikscomfort.
Scholing maakt zeker iets uit. Denk maar aan de woordenschat, die is bij laaggeschoolden doorgaans minder rijk en kleiner. Daardoor is het positieve effect van graphics en iconen veel groter dan bij laaggeschoolden.
Etc Etc Etc.
IMHO, is het key om een gebruikersprofiel samen te stellen om uw usability doelen van hieruit te destileren (maar ook vanuit eventuele andere usability taken zoals context/taak analyses, omgevings analyses…)
Wanneer je een deftig profiel hebt, dan kan je bij usability evaluaties een testpubliek selecteren die met het profiel overeenkomt.
Als je dan een “specifieke vreemde doelgroep hebt die zich anders gedraagt”, dan uit zich dit wel in het gebruikersprofiel en kan je nadien de juiste conclussies maken.
Gerelateerde artikelen
Marketingfacts. Elke dag vers. Mis niks!
Marketingfacts. Elke dag vers. Mis niks!