Waarom communicatie rondom je A/B-testen net zo belangrijk is als significantie

Dingen die je als marketeer moet begrijpen bij A/B-testen

Een tijdje geleden stond er op Marketingfacts een artikel over de significantie bij A/B-testen. Na het lezen van het artikel van auteur Daniel Markus en de daaropvolgende reacties ontstaat er bij jou als marketeer wellicht een beeld dat je bij het uitvoeren van A/B-testen zware statistische kennis moet hebben. Geloof me, die kennis is nodig, maar voor het laten groeien van je business heb je meer nodig dan alleen statistieken.

Koning van de statistiek

Het verkrijgen van inzichten via A/B-testen wordt steeds belangrijker. Het is immers onderzoek in zijn meest pure vorm. Zonder dat klanten het beseffen, zijn ze onderdeel van een experiment. Het levert je inzichten op over het natuurlijke online gedrag van je bezoekers.

Maar hoe ga je als marketeer om met het fenomeen A/B-testen? Want A/B-testen is meer dan alleen een paar originele testvarianten bedenken (als je die al kunt bedenken) en die vervolgens analyseren. Daarnaast, niet alle marketeers zijn koning van de statistiek. Geloof me, dat hoef je ook niet te worden.

Ook ik ben van huis uit geen statisticus. Toch begeleid ik als projectmanager en online strateeg al jaren klanten bij het optimaliseren van websites. Dat doen ik datadriven en pushed by psychology. Ik heb het geluk dat ik omringd word door slimme collega’s die me op het gebied van design, psychologie, techniek en analyse ondersteunen.

Inmiddels weet ik, door schade en schande wijs geworden, maar al te goed waar je op moet letten als je via A/B-testen optimaliseert. Hieronder een aantal punten die van belang zijn bij het optimaliseren van A/B-testen en die jij als marketeer ook ter harte zou moeten nemen.

De organisatie

Allereerst is de organisatie een belangrijk aspect van aandacht. A/B-testcycli zijn pas succesvol als je je learnings implementeert in je dagelijkse business. Je experimenteert en via die experimenten wil je je business laten groeien. Maar je experimenten worden niet zomaar geïmplementeerd in je organisatie. Hier heb je, naast de juiste opzet van de testen, ook organisatie en communicatie vaardigheden nodig:

• Verwachtingen managen richting je stakeholders is essentieel bij A/B-testen. Niet alle testen leveren een winnaar op. In ongeveer 40 procent van de gevallen is een test niet significant. Ik begin dan ook altijd met uitleggen bij de opdrachtgever dat je de testen ook uitvoert om van te leren. Door het testen van verschillende varianten ga je beter de dialoog met je klant begrijpen.
• Raak dan ook niet in paniek als een test een negatief of geen resultaat oplevert. Tegenover de 40 procent niet significante testen, staan 60 procent winnaars en daar kunnen soms echte conversieboosters tussen zitten. Het is goed ook dit soort informatie met je opdrachtgevers te delen.
• Het is natuurlijk belangrijk dat technisch alles goed staat. Check de interne browser: gaan de eigen medewerkers gekke dingen zien? Zijn de statistieken in je analytics software goed ingericht?
• Spreek met de betrokkenen af dat je test in testsoftware (zoals Optimizely, Visual Website Optimizer, Adobe test and target of welke andere testtool je ook gebruikt), en dat je resultaten meet en analyseert vanuit je analytics pakket. Dat klinkt vanzelfsprekend, maar ik ken vele voorbeelden van organisaties die rechtstreeks vanuit testsoftware de testresultaten halen. Die cijfers zijn gewoon minder betrouwbaar.
• Vertel intern dat er getest wordt of sluit de interne medewerkers uit van de test. Al loop je met dat laatste wel een risico. Het zal niet de eerste keer dat een klantenservicemedewerker een klant aan de lijn krijgt die het over een pagina heeft die de servicemedewerker niet herkent omdat dat een variant is.

De analyse

Een goede analyse is het halve werk. Dat doe je als online marketeer vaak niet zelf, maar je moet wel weten hoe het werkt.

• Voordat je kunt beginnen met optimaliseren is het goed om eerst grondig de data te analyseren. Vraag je analist de meest ernstige lekken te detecteren. Begin met optimaliseren daar waar je de meeste conversies misloopt.
• Maar via de eerste data analyse leer je meer: je moet immers eerst uitvinden of A/B-testen uberhaupt wel mogelijk is. Voor een A/B-test heb je minimaal 150 conversies per variant nodig in een periode van maximaal drie weken. Haal je deze aantallen niet, dan is A/B-testen (voorlopig) niet de oplossing voor jou.
• Daarnaast haal je in het begin vooral basale data naar boven. A/B-testen is een continu proces. Je stopt er – als het goed is – niet mee na één keer testen. Het werkt dan ook contraproductief als je begint met hele complexe testen. Je dient eerst de dialoog op de site te leren kennen, daarnaast dien je intern ook zieltjes te winnen en dat gaat het beste met het goed begrijpbaar maken van de testvarianten en de bevindingen die we daaruit halen.

Het ontwerp

Vervolgens ga je de test ontwerpen. Je bepaalt niet alleen het design met zijn verschillende varianten maar ook de hypothese en de testperiode. Hier zit je als marketeer meer aan het stuur.

• Bepaal van te voren wat voor soort test je wilt draaien. Denk dan aan:

  • Klikgedrag beïnvloeden: zorgen dat bezoekers klikken op elementen die bijdragen aan hun waarschijnlijke bezoekdoel
  • Conversie beïnvloeden: zorgen dat bezoekers meer kopen
  • Gebruiksgemak beïnvloeden: zorgen dat bezoekers eenvoudiger de taken kunnen volbrengen waarvoor ze de website bezoeken

• Werk de test altijd uit vanuit een goede hypothese. Ik gebruik daarvoor altijd het volgende ‘ezelsbruggetje’: door het aanpassen van X (een website element), zal het gedrag Y (de verwachte uitkomst/gedrag) worden, als uitgedrukt in Z (hoe lees je de uitkomst/gedrag uit in je data). Over goede hypotheses opstellen zijn al vele blogs geschreven. Lees onder andere hier en hier.
• Bepaal van te voren, is samenspraak met je webanalist, de lengte van de test (afhankelijk van de hoeveelheid traffic en conversies kan dit variëren van 1 tot 3 weken).
• Test in blokken van hele weken. Dit in verband van het ‘weekeffect’. Ervaring leert dat het gedrag op de website per dag anders kan zijn. Zomaar een paar dagen in de week testen is dan ook niet aan te raden. Zet de test wel een paar dagen eerder aan, zodoende voorkom je dat mensen in de testperiode halverwege het proces in de nieuwe variant terechtkomen.
• Leg bij je opdrachtgevers uit dat deze testperiode heilig is. Stop niet met testen als je na een paar dagen ziet dat een test significant is, of qua resultaat tegenvalt. Zorg dat je webanalisten bovenstaande regels ook toepassen. Het zal de kans op succesvolle en betekenisvolle testen aanzienlijk vergroten

A/B-testtools als Optimizely zijn kampioen in het na drie dagen uitroepen van een winnaar. Je krijgt dan een melding in de tool dat er een variant significant beter is. Je mist echter vaak de benodigde conversies (waardoor een test juist significantie mist) en je hebt te maken met het weekeffect zoals hierboven beschreven. Onbetrouwbare uitkomst dus.

Daarnaast zijn er nog een paar zaken die je helpen:

• Test de test voordat je begint. Dat heet een A/A-test. Zet een test aan die het testproces simuleert waardoor je tracking, specifieke conversie, etcetera, kunt meten in je analyticstool. Werkt dit allemaal goed? Komt je data binnen zoals het hoort? Dan kunnen we de slag. Ook hier kan je webanalist of je developer je helpen.
• Denk erom: verander nooit wat in de testvarianten tijdens de test, dat maakt de test waardeloos.
• Kijk ook niet in de data tijdens de test. En laat zeker je opdrachtgevers en stakeholders niet kijken. Het kan overdreven positieve of negatieve reacties opleveren. De resultaten worden pas na een gedegen analyse opgeleverd. Dit om ‘paniekvoetbal’ te voorkomen. Tijdens de test is het dus vooral zaak om niet te communiceren

De analyse

Na de testperiode gaat je webanalist de test analyseren. Jij mag als online marketeer met de resultaten aan de haal.

• Zorg dat de learnings van de testen worden bewaard en intern gedeeld.
• Vraag door bij je webanalist. Vraag hem om de A/B-testdata (uitslag) te segmenteren. Dit is vaak ook weer food-for-thought voor volgende A/B-testcycli. Verschillen tussen nieuw/terugkerend bezoek, per device, per medium kunnen weer voor nieuwe inzichten zorgen. Je webanalist zal het graag voor je uitzoeken.
• Testen wordt pas een fijne investering als iedereen snapt wat voor winst het testen oplevert

  • De winnende varianten dienen te worden geïmplementeerd
  • De winnende varianten dienen te worden ge-hertest (winnaars altijdherstesten, je wilt altijd meer weten van winnaars)
  • Zorg dat de juiste mensen leren van je bevindingen. Je zult niet de eerste marketeer zijn die knarsetandend een nieuw redesign vanuit communicatie dient te implementeren waardoor al je learnings om zeep worden geholpen. Niet goed van de afdeling communicatie, maar ga ook bij jezelf te rade: je stakeholders dien je optimaal aan te haken bij jou experimenten zodat zij het belang en de meerwaarde van experimenteren op je website gaan inzien.

Zo zie je maar, A/B-testen is naast meten ook meenemen. Zonder goede communicatie en samenwerking in je organisatie zal het een privé-project van een aantal fanatieke developers, analisten en marketeers blijven terwijl door gebrek aan kennis er allerlei verkeerde aannames worden gedaan (bijvoorbeeld over testduur en significantie). De webanalist kan het niet alleen. Help jij als (online) marketeer mee?