Beter meten om te weten – deel 3

Tot nu toe heb ik me voornamelijk gericht op de waarde en, in mijn ogen, de schoonheid van experimenteel gedragsonderzoek. Experimenten lijken me essentieel om dieper inzicht te krijgen in de keuzes die mensen maken. Maar, om echt inzicht te leveren, moeten resultaten en conclusies van zo’n experimenten betrouwbaar zijn. En daar gaat al eens wat mis…

Van betrouwbare bevindingen naar betrouwbare conclusies

Het voorbije decennium is veel aandacht besteed aan de betrouwbaarheid van onderzoeksresultaten, of beter gezegd: het gebrek aan betrouwbaarheid[i]. Vele gepubliceerde studies[ii], sommigen beweren zelfs de meeste[iii], bleken immers niet repliceerbaar (d.w.z. als je de studie opnieuw uitvoert, vind je iets anders dan wat eerder werd gevonden en gerapporteerd). Het voorbije decennium zijn er gelukkig initiatieven ontwikkeld om de betrouwbaarheid van onderzoek te vergroten[iv].

Preregistratie

We kunnen zo tegenwoordig ons onderzoek ‘preregistreren’ alvorens een studie af te nemen. Dit betekent dat we van tevoren registreren wat we willen onderzoeken en hoe we dit precies gaan aanpakken[v]. Dit helpt onder andere om onderzoekers – die net zoals andere mensen graag zien dat hun stellingen worden bevestigd – te beschermen tegen zichzelf. Vaak zijn resultaten immers anders dan verhoopt, maar zijn er goede redenen om achteraf statistische analyses net iets anders uit te voeren dan gepland. Hoewel zo’n exploratieve analyses zinvol zijn om inzicht te krijgen in de data is het belangrijk dit ook zo op te schrijven en hiervan bewust te zijn. Daar gaat het al eens mis[vi]. Zonder preregistratie weet een lezer dus niet of wat onderzoekers rapporteren ook effectief is wat ze initieel in gedachten hadden.

Een preregistratie heeft dan ook iets als een kwaliteitskeurmerk. Het garandeert immers dat een studie niet exploratief is van aard en daardoor zijn de bevindingen betrouwbaarder dan die van een niet-gepreregistreerde studie[vii]. Het kritisch evalueren van de betrouwbaarheid van bevindingen is essentieel. Maar daar stopt het niet. Betrouwbare bevindingen leiden immers niet noodzakelijk tot betrouwbare conclusies. Laat me dit illustreren aan de hand van een voorbeeld.

Specifieke bevindingen, algemene conclusies

De voorbije decennia is heel wat onderzoek gedaan naar de effectiviteit van een eenvoudige gedragsinterventie om sociaal verantwoordelijk gedrag te stimuleren: het tonen van een afbeelding van een paar ogen. Louter de aanwezigheid van zo’n afbeelding in de beslissingscontext leidt tot meer sociaal wenselijk gedrag[viii]. Wanneer mensen het gevoel hebben bekeken te worden, zelfs door enkel een afbeelding van ogen, zet dit aan tot pro-sociaal gedrag en ontmoedigt ongewenst gedrag. Sommige studies tonen zo bijvoorbeeld dat de aanwezigheid van ogen ervoor zorgt dat mensen meer doneren aan liefdadigheidsorganisaties[ix] of zich eerlijker gedragen[x].

Dit is dus een potentieel interessante interventie om in publieke ruimtes in te zetten om sociaal verantwoordelijk gedrag te stimuleren. Een relevante context waar men de interventie zou kunnen inzetten, zijn plekken waar men last heeft van sluikstorten of afval op straat wordt gedumpt. Sommige veldexperimenten suggereren immers dat het tonen van oogafbeeldingen kan leiden tot schonere omgevingen en afval vermindert[xi]. Ook al lijkt het effect beperkt, toch is dit een relevante bevinding. Het is echter erg belangrijk voorzichtig te zijn met het generaliseren van zo’n resultaten naar milieuvriendelijke keuzes in het algemeen.

Jammer genoeg is dit exact het probleem: de neiging (hetzij van de lezer, hetzij van de onderzoeker) specifieke bevindingen te extrapoleren naar ‘milieuvriendelijk gedrag’. Veelvoorkomende metingen van milieuvriendelijk gedrag gerapporteerd in de literatuur zijn bijvoorbeeld recycleren, energie besparen, of het hergebruiken van hotelhanddoeken[xii]. Op zich is er niks mis met die metingen, zolang de conclusies van de studie zich beperken tot die ene specifiek onderzochte keuze en de lezer zich hiervan bewust is. Het probleem ontstaat wanneer op basis van een studie waarbij enkel één specifieke keuze is onderzocht (zoals het hergebruiken van handdoeken of het recycleren van plastic flessen) bredere conclusies worden getrokken over milieuvriendelijk gedrag in het algemeen. Daar kan zo’n studie immers vaak gewoon geen uitspraak over doen[xiii]…

Van traditionele naar multi-proxy experimenten

Het is belangrijk dat we de beperkingen van experimenten erkennen en bescheiden blijven in conclusies die we trekken[xiv]. Tegelijkertijd geloof ik dat we niet alleen beter kunnen, maar ook beter moeten, als het gaat over het meten van constructen zoals milieuvriendelijk gedrag. Samen met Bert Weijters ben ik momenteel volop aan het exploreren van de mogelijkheden (en beperkingen) van een nieuwe benadering die we recent hebben ontwikkeld en de “multi-proxy experimentele methode” hebben genoemd[xv].

Wat bedoelen we met een proxy?

Een proxy definiëren we als één specifieke meting die een breder concept of construct vertegenwoordigt. Bijvoorbeeld, één specifieke milieuvriendelijke actie (zoals het recycleren van afval) is een proxy voor het construct milieuvriendelijk gedrag. Traditionele experimenten focussen vaak op slechts één proxy. In een multi-proxy experiment daarentegen wijzen we elke deelnemer willekeurig toe aan één proxy uit een set van tientallen verschillende proxies om het construct waarin we geïnteresseerd zijn te meten.

De sociale beïnvloedingstechniek “Positive Cueing”

Laat me het verschil tussen traditionele en multi-proxy experimenten trachten te verduidelijken aan de hand van een recent project waarbij we de effectiviteit van de sociale beïnvloedingstechniek “positive cueing” in vraag stelden en de methode introduceerden[xvi].  Positive cueing maakt mensen bewust dat verschillende gedragingen die we meestal al doen in het dagdagelijkse leven milieuvriendelijk zijn (denk aan afval sorteren, het licht uitdoen, je boodschappentas hergebruiken). Oud-collega’s van de KULeuven vonden dat deze eenvoudige interventie leidt tot meer milieuvriendelijke keuzes[xvii]. Er zijn echter redenen om te twijfelen of deze techniek wel zo effectief is als oorspronkelijk gedacht. Soms zou de inzet ervan wel eens kunnen leiden tot minder milieuvriendelijke keuzes. Daarom hebben we enkele positive cueing experimenten uitgevoerd.

Positive cueing: een traditionele experimentele benadering.

In lijn met de originele bevindingen vonden we in twee traditionele experimenten dat positive cueing inderdaad de intentie om een milieuvriendelijk alternatief te kiezen verhoogt. Na een positive cueing interventie waren deelnemers in het ene experiment meer geneigd om de fiets te nemen in de plaats van de auto, terwijl in het andere experiment de voorkeur uitging naar kraantjeswater (in de plaats van bijvoorbeeld flessenwater). Case closed? Ik denk het niet… De keuze voor de fiets of kraantjeswater zijn immers zeer specifieke, makkelijke en goedkope keuzes. Het is dan ook te vroeg om te concluderen dat positive cueing leidt tot meer milieuvriendelijk gedrag in het algemeen.

Positive cueing: een multi-proxy experimentele benadering.

Een multi-proxy experiment kan hier meer inzicht brengen. In plaats van één specifieke proxy, zoals in de eerste twee traditionele experimenten, ontwikkelden we een set van 81 proxies, elk met twee keuzemogelijkheden waarvan telkens één een milieuvriendelijker alternatief was. Belangrijk om te benadrukken is dat deelnemers niet gevraagd werd om 81 keer een keuze te maken. Elke deelnemer ontving slechts één proxy die willekeurig werd getrokken uit deze set. De positive cueing interventie was identiek aan de traditionele experimenten, enkel de keuze die deelnemers maakten varieerde. Sommige deelnemers ontvingen de keuze tussen kraantjeswater en flessenwater, anderen tussen gerecycleerd of niet gerecycleerd toiletpapier kopen, weer anderen tussen frequent een nieuwe auto kopen of vele jaren met dezelfde auto rijden, enzovoort.

De resultaten? Helaas, we vonden helemaal niks. We konden het positive cueing effect dat we vonden in de traditionele experimenten niet veralgemenen over een brede set van milieuvriendelijke keuzes. Magere conclusie: positive cueing werkt enkel voor zeer specifieke gedragingen, en het is niet duidelijk voor welke precies. Hoewel we onze bevindingen en conclusies gepubliceerd kregen in een mooi tijdschrift, zaten we toch op onze honger. Het is één ding om te besluiten dat positive cueing effecten beperkt en keuzespecifiek zijn, de vraag die we eigenlijk echt interessant vinden is niet óf positive cueing werkt, maar vooral onder welke omstandigheden de techniek effectief is, wanneer niet, en waarom dan.

Ook al vonden we initieel niks, een multi-proxy experiment kan nog inzicht geven nadat de data zijn verzameld. Anders dan bij traditionele experimenten stellen ze ons immers in staat om post hoc nieuwe data analyses uit te voeren op de experimentele data door karakteristieken te meten van de proxies die we hebben gebruikt. In onze post-hoc analyses kunnen we deze metingen dan meenemen en onderzoeken of positive cueing een ander effect heeft afhankelijk van specifieke, betekenisvolle, karakteristieken van deze proxies.

De mogelijkheid nieuwe inzichten te genereren post hoc: een voorbeeld.

We redeneerden achteraf dat positive cueing wel eens een ander effect zou kunnen hebben afhankelijk van de signaalwaarde van de specifieke keuze die men maakt[xviii]. Dat wil zeggen, afhankelijk van de mate waarin een specifieke keuze gezien wordt als een uitdrukking van iemands persoonlijke identiteit. Daarom verzamelden we voor elke proxy (81 in totaal) achteraf extra data om te meten in hoeverre een specifieke keuze iets signaleert over de persoon die de keuze maakt. Om het iets concreter te maken: wat leer je over iemand, of kan je afleiden wat voor persoon dit is, op basis van de keuze tussen kraantjeswater en flessenwater? Tussen gerecycleerd of niet gerecycleerd toiletpapier kopen? Frequent een nieuwe auto kopen of vele jaren met dezelfde auto rijden? Of te beslissen om helemaal geen auto meer te bezitten? Niet onverwacht zien we dat de keuze tussen kraantjeswater en flessenwater niet zo veel zegt over iemand, maar wel wanneer het gaat over de keuze voor een auto. Nu we deze nieuwe informatie hebben verzameld kunnen we elke proxy nu ook behandelen als de representatie van iets meer dan alleen een milieuvriendelijke keuze, namelijk de mate waarin de keuze iets signaleert over de identiteit van de beslisser.

Het oorspronkelijke idee achter de ‘positive cueing’ beïnvloedingstechniek is de volgende: door mensen bewust te maken van hun alledaagse milieuvriendelijke acties (zoals het licht uitdoen, of een boodschappentas opnieuw te gebruiken) gaan ze zichzelf ook als milieuvriendelijker zien. Als dit klopt, dan zou positive cueing vooral moeten resulteren in milieuvriendelijke keuzes wanneer deze keuzes een groene identiteit bevestigen. Mensen streven immers naar consistentie tussen hoe ze zichzelf zien en wat ze doen[xix], en deze behoefte aan consistentie is vooral sterk bij keuzes die iets zeggen over hun identiteit. Anders bekeken: als men niet milieuvriendelijk kiest, ondanks een groene identiteit, is de inconsistentie tussen wie men denkt te zijn en wat men doet vooral voelbaar bij keuzes die een hoge signaalwaarde hebben. Aangezien mensen niet houden van zo’n inconsistentie zijn ze ook minder geneigd dit te doen bij die specifieke keuzes. Als mensen na positive cueing zichzelf effectief als milieuvriendelijker gaan zien, verwacht je dus dat ze voornamelijk meer milieuvriendelijk gaan kiezen wanneer de signaalwaarde hoog is.

Onze redenering was anders. Wij zijn van mening dat positive cueing niet per se hoeft te veranderen hoe mensen zichzelf zien om effectief te zijn. Als je mensen ervan bewust maakt dat ze al vele dagdagelijkse beslissingen nemen die eigenlijk milieuvriendelijk zijn, dan kan dit an sich leiden tot een verhoogd milieubewustzijn bij andere dagdagelijkse keuzes, zodat men zich niet langer alleen hiervan bewust is bij keuzes met een uitgesproken signaalwaarde. Volgens deze redenering zou positive cueing juist meer bewustzijn en dus milieuvriendelijker keuzes stimuleren bij acties die oorspronkelijk een lage signaalwaarde hebben (zoals bijvoorbeeld het drinken van kraantjeswater). Deze tweede redenering voorspelt dus exact het omgekeerde. Wat vertellen de data?

Zoals je kan zien in de figuur[xx], blijkt dat positive cueing vooral leidt tot milieuvriendelijker keuzes bij keuzes met een lage signaalwaarde. Dit is consistent met de redenering dat mensen zich door positive cueing meer bewust worden van de milieuvriendelijkheid van acties die men er niet automatisch mee associeert. Anderzijds hadden we dan weer niet voorspeld dat mensen minder milieuvriendelijk zouden kiezen na positive cueing wanneer de signaalwaarde van de keuze hoog is. Indien we dit patroon kunnen repliceren in vervolgonderzoek, is dit een relevante en fascinerende bevinding die verder onderzoek vereist. Daarnaast is deze bevinding in onze post-hoc analyse vooral vanuit een methodologisch perspectief ontzettend interessant. Deze bevindingen illustreren namelijk de waarde van een multi-proxy benadering en de ongekende mogelijkheden die dit soort experimenten biedt. Zoals je net zag, vonden we immers helemaal niks in het gepubliceerde multi-proxy experiment, maar door achteraf de signaalwaarde van de keuze mee te nemen in onze analyses zien we iets helemaal anders gebeuren[xxi].

Nog enkele gedachten

Ik heb ervoor gekozen om de mogelijkheden van de multi-proxy experimentele methode te illustreren aan de hand van een recent onderzoeksproject. Graag had ik nog dieper ingegaan op enkele aspecten. Zoals de verstrekkende implicaties van een multi-proxy experimentele aanpak en hoe deze benadering uiteraard ook kan worden ingezet om een breed scala aan (consumenten)beslissingen te bestuderen. Of hoe het inzicht in de heterogeniteit van effecten helpt gerichter gedragsinterventies te onwikkelen[xxii]. Of, meer filosofisch, hoe deze aanpak ons onderzoeksveld zou kunnen helpen om op een meer constructieve en coherente manier onderzoek te doen, en zo kennisontwikkeling te versnellen. Maar dat is voor een andere keer…

Conclusie

Ik hoop dat ik vooral duidelijk heb kunnen maken dat de conclusies van een studie niet noodzakelijk betrouwbaar zijn omdat de resultaten en statistische conclusies betrouwbaar zijn[xxiii]. Wat betekenen immers conclusies over ‘milieuvriendelijk gedrag’ wanneer deze gebaseerd zijn op slechts één zeer specifieke meting van een milieuvriendelijke keuze? Met de introductie van multi-proxy experimenten hopen we een stap in de goede richting te zetten om complexe constructen, zoals milieuvriendelijk gedrag, beter te meten. Door beter te meten kunnen we immers zoveel meer weten.[xxiv]

[i] Uiteraard focus ik hier op de ‘replicatiecrisis’ in gedragswetenschappen, ook al is dit evenzeer een groot probleem bij verschillende andere wetenschappelijke disciplines. Het hoeft geen betoog dat dit erg schadelijk is voor het vertrouwen in wetenschap.

[ii] Munafò, M. R., Nosek, B. A., Bishop, D. V. M., Button, K. S., Chambers, C. D., Percie du Sert, N., Simonsohn, U., Wagenmakers, E.-J., Ware, J. J., & Ioannidis, J. P. A. (2017). A manifesto for reproducible science. Nature Human Behaviour, 1, 0021.

[iii] Ioannidis, J. P. A. (2005). Why most published research findings are false. PLoS Medicine, 2, e124.

[iv] Nelson, L. D., Simmons, J., & Simonsohn, U. (2018). Psychology’s renaissance. Annual Review of Psychology, 69, 511-534.

[v] Nosek, B.A., Ebersole, C.R., DeHaven, A.C., & Mellor, D.T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115, 2600-2606.

[vi] Het is belangrijk op te merken dat dit meestal niet intentioneel gebeurt. We weten dat mensen meesters zijn in zelfbedrog, en wetenschappers zijn ook maar mensen (Nuzzo, 2015). Initiatieven die ervoor zorgen dat onderzoekers zich meer bewust worden van de biases in hun besluitvorming bij het analyseren en interpreteren van data zijn daarom uitermate belangrijk.

Nuzzo, R. (2015). How scientists fool themselves – and how they can stop. Nature, 526, 182–185.

[vii] Protzko, J., Krosnick, J., Nelson, L.D., Nosek, B.A., Axt, J., et al. (2024). High replicability of newly discovered social-behavioural findings is achievable. Nature Human Behaviour, 8, 311-319.

[viii] Dear, K., Dutton, K., & Fox, E. (2019). Do ‘watching eyes’ influence antisocial behavior? A systematic review & meta-analysis. Evolution and Human Behavior, 40, 269-280.

[ix] Kelsey, C., Vaish, A., & Grossmann, T. (2018). Eyes, more than other facial features, enhance real-world donation behavior. Human Nature, 29, 390-401.

[x] Bateson, M., Nettle, D., & Roberts, G. (2006). Cues of being watched enhance cooperation in a real-world setting. Biology letters, 2, 412-414.

[xi] Gangl, K., Walter, A., & Van Lange, P.A.M. (2022). Implicit reminders of reputation and nature reduce littering more than explicit information on injunctive norms and moneratory costs. Journal of Environmental Psychology, 84, 101914.

[xii] Dit valt op in het overzicht van studies besproken in volgend review over de impact van sociale normen op milieuvriendelijk gedrag (zie tabel 2 aldaar):
Farrow, K., Grolleau, G., & Ibanez, L. (2017). Social norms and pro-environmental behavior: A review of the evidence. Ecological Economics, 140, 1–13.

[xiii] Yarkoni, T. (2022). The generalizability crisis. Behavioral and Brain Sciences, 45, 1-78.

[xiv] Bij empirische artikelen valt het te overwegen om in de algemene discussie een ‘Constraints on Generality’-verklaring op te nemen zodat de lezer de bevindingen niet te sterk veralgemeent:
Simons, D. J., Shoda, Y., & Lindsay, D. S. (2017). Constraints on Generality (COG): A Proposed Addition to All Empirical Papers. Perspectives on Psychological Science, 12, 1123–1128.

[xv] Millet, K., & Weijters, B. (2023). Introducing multi-proxy experiments: increasing generalizability and creating secondary data sources. PsyArXiv.

[xvi] Millet, K., Du, G., Cabooter, E. & Weijters, B. (2022). The limited impact of positive cueing on pro-environmental choices. Journal of Environmental Psychology, 79, 101732.

[xvii] Cornelissen, G., Pandelaere, M., Warlop, L., & Dewitte, S. (2008). Positive cueing: Promoting sustainable consumer behavior by cueing common environmental behaviors as environmental. International Journal of Research in Marketing, 25, 46-55.

[xviii] Millet, K., & Weijters, B. (2023). The behavioral intervention “positive cueing”: Altering self-perception, increasing green awareness, or undermining the signaling value of costly green behavior? Journal of Environmental Psychology, 87, 101979.

[xix] Verschillende klassieke psychologische theorieën focussen op het verlangen van mensen naar consistentie tussen hun opvattingen en hun daadwerkelijk handelen, o.a.:

• Bem, D. J. (1972). Self-perception theory. Advances in Experimental Social Psychology, 6, 1–62.
• Festinger, L. (1957). A theory of cognitive dissonance. Evanston, IL: Row, Peterson
• Cialdini, R. B., Trost, M. R., & Newsom, J. T. (1995). Preference for consistency: The development of a valid measure and the discovery of surprising behavioral implications. Journal of Personality and Social Psychology, 69, 318–328.

^[xx] Deze figuur toont een lijndiagram met 95% betrouwbaarheidsinterval van het (experimentele) effect van positive cueing (op de Y-as) op milieuvriendelijke keuze als een functie van de signaalwaarde van de keuze (op de X-as). Bij gemiddelde niveaus van de signaalwaarde heeft positive cueing geen effect dat significant verschilt van nul (het effect van positive cueing op milieuvriendelijke keuzes in het algemeen). Zoals je kan zien, resulteert positive cueing echter wel meer in een milieuvriendelijke keuze naarmate de oorspronkelijke signaalwaarde van de keuze lager is (terwijl bij keuzes die hogere signaalwaarde hebben positive cueing net lijkt te resulteren in minder milieuvriendelijke keuzes).

[xxi] In mijn oratie heb ik ook een ander voorbeeld aangehaald van een project waar we momenteel mee bezig zijn en dezelfde methode toepassen. Indien interesse kan je dit voorbeeld terugvinden in de volledige tekst, die ik ter beschikking heb gesteld op mijn persoonlijke webpagina: https://research.vu.nl/en/persons/kobe-millet.

[xxii] Recent is meer aandacht gevraagd voor heterogeniteit in effecten en de noodzaak van een meer systematische benadering toegelicht (Bryan, Tipton & Yeager, 2021). Gedragsinterventies zijn immers zelden effectief voor iedereen, en in alle omstandigheden of contexten. Wanneer heterogeniteit op een systematische manier bestudeerd wordt, kunnen we ook meer inzicht krijgen in de psychologische mechanismen en betere theorieën ontwikkelen. Die kunnen op hun beurt dan weer gebruikt worden om beleidsmakers beter te adviseren.

Bryan, C. J., Tipton, E., & Yeager, D. S. (2021). Behavioural science is unlikely to change the world without a heterogeneity revolution. Nature Human Behaviour, 5, 980-989.

[xxiii] Meer dan 40 jaar geleden schreven Cook en Campbell (1979) in hun klassiek, alombekend, werk over validiteit reeds dat ‘construct validiteit van effecten’ (waar onze methode specifiek op focust) minder aandacht krijgt dan ‘statistische conclusie validiteit’. Dit lijkt nog steeds het geval te zijn. Ook de (lovenswaardige) aandacht in het laatste decennium voor het verbeteren van onderzoekspraktijken richt zich voornamelijk op het oplossen van problemen die te maken hebben met statistische conclusie validiteit. Construct validiteit krijgt echter nog steeds (te) weinig aandacht (Flake et al., 2022). We hopen dat hierin verandering komt.

Cook T.D., & Campbell D.T. (1979). Quasi-experimentation: design and analysis issues for field settings. Chicago, IL: Rand McNally.
Flake, J. K., Davidson, I. J., Wong, O., & Pek, J. (2022). Construct validity and the validity of replication studies: A systematic review. American Psychologist, 77, 576-588.