Lay-out van vragen bepalend voor resultaten online marketingonderzoek?
Meer en meer laten consumenten de computer links liggen en smartphones zijn alomtegenwoordig, ook bij het beantwoorden van vragenlijsten die gebruikt worden in marktonderzoek.
Maar zijn de eindresultaten van zo’n enquête op alle devices wel identiek, ook al is de inhoud hetzelfde? Ons onderzoek laat zien dat de lay-out daarin sturend kan zijn en dus een vertekend beeld kan geven.
Sinds de introductie van het internet in 1993 nemen marktonderzoekers steeds meer vragenlijsten online af in plaats van telefonisch of face-to-face om consumenteninzichten te verwerven. In de 21ste eeuw heeft dan weer de ‘mobiele switch’ plaatsgevonden waarbij meer en meer smartphones worden gebruikt om vragenlijsten te beantwoorden. Wat hierbij vaak vergeten wordt, is dat dezelfde vragenlijst met dezelfde inhoud vaak net iets anders op verschillende devices gepresenteerd wordt.
Om te zien of het wijzigen van louter de lay-out effect heeft op de resultaten van een vragenlijst, initieerden wij enkele experimenten. Onze onderzoeksresultaten toonden uiteindelijk aan dat respondenten meer geneigd zijn om te overdrijven in hun antwoorden wanneer antwoordopties verticaal worden gepresenteerd (zoals op een smartphone) in plaats van horizontaal (zoals op een laptop).
‘Dit lay-out effect kan leiden tot vertekende conclusies en misleidende aanbevelingen’
Om dit verschil te begrijpen in antwoordgedrag moeten we kijken naar de afstand tussen de antwoordopties. Wanneer de ruimte tussen de antwoordopties beperkt is, neigen respondenten ertoe ze als meer gelijkaardig te beschouwen. In het geval van een mobiel formaat (verticale presentatie) liggen de opties erg dicht bij elkaar. Extreme antwoorden zoals “sterk mee eens” of “sterk mee oneens” lijken daarom minder ver af te staan van de neutrale mening. Omgekeerd liggen de antwoordmogelijkheden verder uit elkaar op een desktop of laptop en lijken dezelfde antwoordopties daardoor sterkere meningen weer te geven.
Automatische aanpassing
Dit lay-out effect is belangrijk omdat het kan leiden tot vertekende conclusies en misleidende aanbevelingen. Wanneer ouderen bijvoorbeeld vragenlijsten vaker beantwoorden op een desktop en jongeren op een mobiel, kan je tot de conclusie komen dat jongere consumenten andere voorkeuren hebben dan ouderen, terwijl dit effect mogelijks enkel veroorzaakt wordt door de lay-out van de vraag. Hetzelfde geldt voor verschillen tussen landen, wanneer het gebruik van smartphones meer of minder wijdverbreid is afhankelijk van het specifieke land. Verschillen in beoordelingen en voorkeuren tussen verschillende consumentensegmenten kunnen dan ook soms worden veroorzaakt door het gebruikte device bij het onderzoek (en niet door “echte” verschillen).
Dit inzicht is belangrijk voor (markt)onderzoekers omdat het wijst op het belang om rekening te houden met de automatische aanpassing van het formaat van de vragenlijst naargelang het device. Deze aanpassing, die vooral bedoeld is om de vragenlijst gemakkelijk leesbaar te maken op een smartphone, kan namelijk onderzoeksresultaten beïnvloeden. Ons advies is dan ook om ervoor te zorgen dat alle respondenten een vragenlijst krijgen in een vergelijkbare lay-out en op hetzelfde device.
Academische publicatie
Vrij te downloaden hier. Weijters, B., Millet, K., & Cabooter, E. (2021). Extremity in horizontal and vertical Likert scale format responses. Some evidence on how visual distance between response categories influences extreme responding. International Journal of Research in Marketing, 38, 85-103.
Kobe Millet is Full Professor Decision Making & Sustainability in Marketing aan de Vrije Universiteit Amsterdam (School of Business and Economics). Hij is (theoretisch) psycholoog van opleiding en expert in experimenteel gedragsonderzoek waarbij hij probeert de schijnbaar irrationele overwegingen en gedragingen van consumenten (en mensen in het algemeen) beter te begrijpen. Zijn huidige onderzoeksinteresses focussen zich op de rol van persoonlijke identiteit in consumentenoverwegingen, (sociale) marketing initiatieven en milieuvriendelijke keuzes, en irrationaliteit in het nemen van beslissingen in het algemeen. Vanuit zijn onderzoeksexpertise en -interesses doceert hij zowel in regulier als postgraduate (academisch) onderwijs aan de VU, en verzorgt hij masterclasses voor professionals.