Lezen we net dat het goed gaat met onderzoek via Internet, staat het opeens in het beklaagdenbankje! Afgelopen donderdag is door de MOA (marktonderzoek-branchevereniging) een groot onderzoek gepresenteerd waaraan vrijwel alle grote zogeheten ‘online access panels’ (in de volksmond: Internetpanels) hebben deelgenomen: het NOPVO. Doel van het onderzoek: inzicht krijgen in de kwaliteit van online dataverzameling in Nederland. De conclusies zijn redelijk bedroevend…
Bijna een kwart van alle panelleden in Nederland zit in 5 of meer Internetpanels
Is dit erg? Ja, dit is erg. Nog afgezien van de drijfveer van deze groep om in zoveel panels tegelijk te zitten (vaak: centjes verdienen / prijzen winnen), heeft dit invloed op de kwaliteit van de data die je verzamelt. Je kunt je voorstellen dat als je in panel A een onderzoek doet naar jouw merkbekendheid, en een panellid heeft net in panel B meegedaan aan een onderzoek van een concurrent, dat dit ongewenste effecten oplevert.
Er is sprake van een afwijkende respondentgroep die aan online onderzoek meedoet
Deelname aan een online access panel gebeurt op basis van vrijwilligheid, en vaak op basis van zelf-aanmelding. Dit leidt er toe dat een groot deel van de ‘non-respons’ op online onderzoek al voor de poort plaatsvindt. Immers, mensen die niet aan (online) onderzoek mee willen doen, melden zich niet aan. Bij telefonisch of face-to-face onderzoek kan de overredingskracht van een interviewer nog positief werken, bij zelf-aanmelding gaat dit niet op. Er blijft dus vaak een kleine club potentiele respondenten over waaruit geput kan worden. En deze mensen blijken anders te zijn: niet eens zozeer sociodemografisch, maar meer nog waar het gaat om belangrijke attitudekenmerken. Zo blijkt uit het onderzoek dat SP-stemmers zwaar oververtegenwoordigd zijn in alle panels, en CDA-stemmers ondervertegenwoordigd.
Zo zijn er nog een aantal conclusies die tot nadenken aanzetten, voor de liefhebber zijn de uitkomsten van het onderzoek hier na te lezen.
Al met al zijn de conclusies vaak somber stemmend. Niet zozeer ten aanzien van online onderzoek zelf, maar ten aanzien van de grote verschillen die tussen de vele panels zijn gevonden. Dit wekt voor de buitenwereld de indruk dat online onderzoek ‘niet betrouwbaar’ is. Ik ben zelf medeverantwoordelijk geweest voor het opzetten van een van de grootste panels van Nederland (Opinieland.nl, inmiddels niet meer in handen van Blauw) in een tijd dat online onderzoek nog nieuw was en ben er nog steeds heilig van overtuigd dat online onderzoek voor de meeste typen onderzoek de geprefereerde dataverzamelingmethode is, zolang je maar de juiste voorzorgsmaatregelen neemt, en de juiste controle- wegings- en correctieprocedures gebruikt.
Wanneer je overweegt online onderzoek uit te laten voeren, kijk dan eens naar de guidelines die Esomar (internationale branche-organisatie) heeft opgesteld met betrekking tot online onderzoek. Hierin vindt je onder meer 25 vragen die elke beheerder van een online panel moet kunnen beantwoorden, en die een goede indruk moeten geven van de kwaliteit van het panel.