11 manieren om je A/B-testing te verknallen

14 oktober 2013, 07:29

A/B-testing is het tonen van verschillende versies van je website om zo te voorspellen welke versie beter zal converteren. Het is inmiddels een bekende manier om je online conversie te verbeteren. Door verschillende opmaken, call-to-actions, tones of voice of USP’s te testen, baseer je je marketingkeuzes op data in plaats van onderbuikgevoel. Je moet wel gek zijn om geen gebruik te maken van deze effectieve marketingtool. Maar: er kan ook flink wat misgaan bij de A/B-testing van een website, waardoor je niet het onderste uit de kan haalt. Val niet ten prooi aan de volgende 11 belangrijkste pijnpunten!

1. Afwezigheid

Deze spreekt voor zich. Geen A/B-testing inzetten, betekent geen voortdurend toenemende verbetering van het conversiepercentage van je website. Met tien bezoekers per maand heeft A/B-testing natuurlijk weinig zin, maar een aantal duizend bezoekers per maand is al genoeg.

Denk of zeg nooit:

  • Mijn website werkt goed genoeg.
  • Mijn website is niet geschikt om te A/B-testen.
  • Ik weet zelf het beste wat mijn bezoekers willen.
  • Als ik best practices in design en persuasion aanhoud, krijg ik de perfecte website.

2. Voorbereiding

Zonder goede voorbereiding is een A/B-test als een schot in het donker. Gebaseerd op foutieve data. Op onbelangrijke pagina’s. Met onjuiste doelstellingen.

Zorg voor:

  • Een foutloze implementatie van je webanalytics-pakket.
  • Een analyse van je website voordat je begint met testen.

3. Doelstelling

Over doelstellingen gesproken: deze moeten crystal clear zijn voordat je een test start. Als in een webwinkel een A/B-test beter werkt qua aantal verkopen, maar slechter qua opbrengst, is deze test dan succesvol? Dat weet je alleen als je van tevoren hebt nagedacht over je doelen.

Vraag jezelf af:

  • Wat zijn de belangrijkste doelen van mijn website?
  • Wat denk ik met deze test te bereiken?
  • Waar beoordeel ik deze test op?

4. Frequentie

Als je bent begonnen met A/B-testing, zorg er dan voor dat je continu blijft testen. Zodra een test conclusief is (PS: let op het volgende punt: looptijd) start je een nieuwe, die je van tevoren al hebt klaargezet. Zo kunnen al je bezoekers onderdeel zijn van een test en zul je sneller resultaat zien. Vergeet ook niet dat er meerdere tests tegelijk kunnen lopen, zolang deze niet overlappen en elkaars resultaten niet te veel beïnvloeden.

Test niet:

  • Onregelmatig.
  • Slechts één (type) pagina.
  • Te snel opnieuw (zie punt 5: looptijd).

5. Looptijd

Dit is een belangrijk punt en heeft zowel te maken met statistiek, als met consumentengedrag. Zodra een test statistisch significant is, is de verleiding groot om deze meteen te onderbreken en een nieuwe test te starten. Dat zorgt echter in veel gevallen voor onjuiste resultaten, ook als het aantal conversies al relatief hoog is. Statistisch gezien heb je te maken met false positives: hoe vaker je tussendoor naar de resultaten kijkt, hoe groter de kans dat deze een keer (ten onrechte) statistisch significant zijn. Ook heb je te maken met het primacy effect: gebruikers die de originele versie al kenden, worden daardoor beïnvloed.

Maak gebruik van:

  • Een minimaal aantal conversies of gebruikers per variatie.
  • Een vooraf vastgestelde doorlooptijd wanneer een test statistisch significant is (en voldoende conversies en gebruikers heeft per variatie).
  • Segmentatie op nieuwe bezoekers wanneer je test met grote veranderingen in de navigatie of opmaak.

6. Kwantiteit

Als je tegelijkertijd een nieuwe call-to-action en een nieuwe headline test en de test komt positief uit de bus, waar komt dit resultaat dan door? Zou de pagina niet nog beter werken als de oude headline met de nieuwe call-to-action wordt gecombineerd? Test niet te veel tegelijk!

Test met:

  • Niet te veel elementen tegelijk (tenzij het gaat om een volledige opmaak- of navigatieverandering).
  • Veranderingen aan verschillende elementen in aparte variaties.

7. Content

De volgende drie punten behandelen elementen van een website die bij het testen vaak vergeten worden. Als je net begonnen bent met A/B-testing, is de verleiding groot om alleen kleine veranderingen te testen: kleuren, headlines, call-to-actions, positieveranderingen. Je kunt echter ook de tekst op de pagina rigoreus aanpassen.

Test ook eens:

  • Je tone of voice.
  • De lengte en mate van detail van je copy.

8. Template

Wees ook niet bang voor fundamentele veranderingen in de opmaak van de website of bepaalde pagina’s. En geloof me: ook je navigatie is nog lang niet perfect.

Of test:

  • Grote opmaakveranderingen.
  • Navigatieveranderingen.

9. Prijs

De echte A/B-meester durft zelfs te testen met de prijs van het product of dienst. Moeilijk om de rest van de organisatie te overtuigen, lastig te implementeren, maar zeker de moeite waard. Want weet je wel zeker dat je het ideale prijsniveau aanbiedt? Straks wel!

Je kunt zelfs:

  • Verschillende prijsniveaus testen.
  • De invloed van kortingspercentages of verzendkosten meten.
  • Nieuwe abonnementsvormen testen.

10. Analyse

Je test is statistisch significant te noemen en je start de volgende A/B-test zo snel mogelijk. Maar wat zeggen de resultaten van de vorige test precies? Als je geen goede analyse uitvoert, loop je mogelijk een schat aan verborgen informatie over je bezoekers mis. Zéker bij een test die minder goed presteerde dan het origineel.

Als een test conclusief is:

  • Analyseer je de resultaten, goed of slecht.
  • Vorm je hypotheses voor nieuwe tests uit de resultaten.

11. Overtuiging

Niets dan goeds over de overtuiging dat A/B-testing een ideaal middel is om je website te verbeteren. Maar houd altijd in je achterhoofd dat je website niet alleen een conversiemachine is. Ook branding speelt een belangrijke rol en de testvariaties die je bedenkt, moeten altijd ook in die rol passen. Verder is A/B-testing een statistische aangelegenheid, en in de statistiek is niets met absolute zekerheid te zeggen. Je nieuwe pagina werkt dus niet beter, nee: je kunt met 95% zekerheid zeggen dat hij beter zal gaan werken. Of met 90%. Of 99%. Maar nooit 100%.

Wees je ervan bewust dat:

  • A/B-testing een statistische aangelegenheid is. Niets is 100 procent zeker.
  • Een website niet alleen een kwestie is van conversie, maar ook van branding.

Denk bij het uitvoeren van A/B-testing om deze pijnpunten. Print ze uit, hang ze op. Zo voorkom je onnodige problemen en nietszeggende tests. En daar wordt uiteindelijk iedereen beter van.

Mis jij nog punten? Laat ze horen in de comments!

Credits afbeelding: Raymond Bryson (CC)

Sjors Peerdeman
Web Analytics & Conversie Specialist bij Sanoma Digital

Sjors Peerdeman is als Web Analytics Specialist werkzaam bij de Online Performance Afdeling van Sanoma. Het verbinden van data en marketing, dat vindt hij belangrijk. Daarbij is elke taartgrafiek er een te veel.

Categorie
Tags

4 Reacties

    Gerard

    Dank voor je kennisdeling.

    Een redesign zonder A/B test zou ik toevoegen in dit artikel.

    Voor zowel een volledig redesign of een nieuwe funnel voor je bestel/boekingsmodule.

    Veel organisatie implementeren tools of een nieuwe website zonder dit te A/B testen


    17 oktober 2013 om 10:08
    sjorspeerdeman@gmail.com

    Dag Gerard,

    Bedankt voor je reactie.

    Nieuwe funnels of redesigns zouden inderdaad altijd getest moeten worden. Dit valt wat mij betreft onder punt 1: Afwezigheid.

    Met het testen van redesigns zou ik wel voorzichtig zijn bij de analyse achteraf. De beste conversie is niet altijd de beste branding. Bij het testen van design moet je daar een gulden middenweg in vinden.


    17 oktober 2013 om 10:22
    Gerard

    Dien je dit niet achteraf kwalitatief te testen?

    Bijvoorbeeld door een concept/design test of een remote usability test?


    17 oktober 2013 om 10:41
    sjorspeerdeman@gmail.com

    De effecten op branding zijn inderdaad niet echt (kwantitatief) te A/B-testen. Daar zul je kwalitatieve tests voor moeten uitvoeren. Uitkomsten daaruit zou ik zeker vergelijken met eventuele conversieverandering uit A/B-tests.


    17 oktober 2013 om 10:46

Marketingfacts. Elke dag vers. Mis niks!