“Stop guessing, start hypothesizing”: de 4 belangrijkste take-aways van Conversion World

Conversie-optimalisatie als discipline ontgroeit langzaam maar zeker z’n puberteit en begint meer adolescente vormen aan te nemen. Het vakgebied wordt dus gelukkig steeds volwassener, maar de serieuze omarming van data-driven optimalisatie vindt voornamelijk plaats binnen de niche van de echte conversie-fanatici. Wat moeten de grotere organisaties doen om conversie-optimalisatie van veredelde hobby te upgraden tot succesvolle, serious business?

Eind vorige maand vond Conversion World plaats, ‘The First Online Conversion Conference’. De eerste editie van dit virtuele congres werd geleid door zo’n 20 topsprekers en gevolgd door ruim 300 conversie-fanatici over de hele wereld. Aan bod kwamen praktische inzichten en mooie cases van de beste conversie-specialisten op het gebied van strategie, analytics, psychologie en a/b-testen.

Hieronder deel ik de 4 belangrijkste take-aways van Conversion World:

1. A/B-testen is een methode, geen oplossing

Regelmatig hoor je het op congressen: “Ben jij al begonnen met a/b-testen?”. Testen is hot en een van de belangrijkste redenen waarom conversie-optimalisatie als discipline zo is gegroeid de afgelopen jaren. Natuurlijk is testen spannend. En door tools als Visual Website Optimizer en Optimizely is het voor iedere marketeer ook nog eens heel toegankelijk geworden. Dat laatste maakt echter ook dat er veel ‘foute’ experimenten worden bedacht waarvan de uitkomst vaak zeer discutabel is (waarover later meer).

Veel van de sprekers op Conversion World beginnen hun presentatie dan ook met ongeveer dezelfde strekking: a/b-testen is een methode, geen oplossing. Goede testen bedenken en analyseren is iets waarvoor veel voorbereiding, kennis, ervaring en dus ook investeringen nodig zijn. Het advies luidt daarom: doe het goed, óf doe het niet. Doe je het half, dan neem je het risico dat je verkeerde optimalisatie-beslissingen maakt. En dat wil niemand… Toch?

2. Zorg dat je organisatie er klaar voor is

Heb je de intentie om de starten met conversie-optimalisatie of het te omarmen als serieuze ‘way of working’? Kijk dan eerst of je organisatie er klaar voor is. Paul Rouke van het Britse bureau PRWD omschrijft vier kritische factoren die je als organisatie nodig hebt om door conversie te kunnen groeien (ook op de lange termijn).

1. Diepe inzichten over je bezoekers en klanten, gebaseerd op kwantitatieve en kwalitatieve analyses. Je kunt je klanten kennen, maar begrijp je ze ook echt? Zorg ervoor dat, alvorens je start met optimaliseren, je eerst learnings verzamelt. Customer journey mappings, interviews, enquêtes, usability tests en natuurlijk inzichten uit je analyticstool kunnen hierbij helpen. Probeer er niet alleen achter te komen wat jouw bezoekers doen, maar ook wat er in hen omgaat. Zo kun je je website niet alleen gebruiksvriendelijker maken, maar ook daadwerkelijk de perceptie van jouw bezoeker beïnvloeden.
2. Een open-minded bedrijfscultuur die verandering omarmt en agile werkt. Binnen een IT-afdeling betekent dit vooral: probeer de release-frequentie omhoog te schroeven, zodat er continu ‘geleverd’ kan worden.
3. Een proces dat zorgt voor continu resultaat en het verzamelen van learnings, waarbij deze manier van werken is verweven in de hele bedrijfsstrategie en –cultuur. Leren is het belangrijkste doel van testen, dus probeer hier de focus op te leggen. Als je effectief test, is de kans natuurlijk groot dat je meer geld zult verdienen. Echter, zoals eerder genoemd: grote stappen maak je pas nadat je je klant echt begrijpt. Een goed idee is dan ook om vanuit a/b-tests een soort learnings-bibliotheek te maken en die open te stellen voor het hele bedrijf.
4. Een multidisciplinair team dat ervaren is en goed samenwerkt. De meer volwassen e-commerce-organisaties werken vaak al in SCRUM, wat een goede basis is voor de dynamische en snelle workflow van conversie-optimalisatie.

Bekijk hieronder de volledige presentatie van Paul.

3. “Stop throwing spaghetti!”

Conversie-experimenten ontstaan nog te vaak vanuit een lukraak idee. Bijvoorbeeld: “Ik denk dat we die knop rood moeten maken”. Of: “Als we dit element nu gewoon groter maken en dat even testen?” Binnen conversieland noemt men dit testen zonder voorbedachte rade ook wel het Hippo-gedrag (Highest Paid Persons Opinion).

Justin Rondeau (DigitalMarketer.com) is hier heel duidelijk over: “Stop throwing spaghetti!”. Het gevaar dat je namelijk loopt bij dit soort ‘random tests‘, is onder meer dat er vaak wel een verschil is in één van de dingen die je kunt meten. De kans is echter groot dat dit slechts een toevallig verschil is, zoals bij iedere steekproef kan voorkomen. Veel organisaties die beginnen met testen, kennen dit toevallige verschil echter wel toe aan de testvariatie. Pas op: hiermee houd je jezelf voor de gek en bestaat de kans dat je verkeerde conclusies trekt. Daarnaast leer je waarschijnlijk niks van het experiment en dat is natuurlijk zonde!

Goede testideeën bedenk je dus niet zomaar, maar ontstaan vanuit goede analyses vooraf. Deze beginnen vaak met inzichten vanuit webanalytics, omdat je hierdoor in kaart kunt brengen waar de kansen liggen. Een hoog uitvalpercentage op een stap in de checkout-funnel, een matige bounce rate op een landingspagina, een laag conversiepercentage op het inschrijven voor de nieuwsbrief – aan voldoende data zal het je waarschijnlijk niet ontbreken. Happy number crunching!

Maar het gaat niet alleen om harde cijfers. Eigenlijk alle sprekers zijn het erover eens: combineer kwantitatief én kwalitatief onderzoek. Zo krijg je zowel inzichten in ‘wat gebeurt er?’ en vind je kansen voor optimalisatie. Door kwalitatief onderzoek te doen, voeg je context toe aan de cijfers en krijg je mogelijk antwoord op de vraag ‘waarom gebeurt dat?’.

Methoden voor onderzoek zijn eye-tracking, customer feedback tools, web analytics, enzovoort.

Hotjar

Een aantal heel praktische voorbeelden voor het maken van kwalitatieve analyses werden genoemd door Dr David Darmanin, oprichter van de jonge, maar reeds populaire tool Hotjar. Hotjar biedt een verzameling functionaliteiten van tools als ClickTale, CrazyEgg en Qualaroo, maar dan voor een fractie van de prijs. Naast het visualiseren van funnels en het opnemen van visitor recordings (filmpjes van het scherm van de gebruiker) kun je in Hotjar heatmaps genereren met functies voor click tracking, mouse tracking en scroll tracking.

Voorbeeld van een scroll tracking heatmap uit Hotjar (Mirabeau.nl)

David presenteerde “8 heatmap tests that reveal visitor behavior“. Een van de voorbeelden die hij hierin laat zien, is de ‘distraction test’: elementen op de pagina leiden de bezoeker af als ze niet relevant zijn. De oplossing: kill your darlings! Misschien is bepaalde content volgens jou heel interessant, maar verwijder het simpelweg wanneer het voor de bezoeker op dat moment niet relevant is.

Dit is een veelgehoord advies van de sprekers op Conversion World: creëer focus en vermijdt afleiding: het rationele gedeelte van ons brein (systeem 2, voor degenen die Thinking Fast & Slow gelezen hebben) kan hier namelijk heel slecht tegen.

The distraction test. Het advies: kill your darlings!

4. “Life’s too short for bad tests”

Hoewel a/b-testen in de afgelopen jaren erg populair is geworden en conversie-optimalisatie als discipline een stuk volwassener is geworden, worden in de praktijk nog veel matige experimenten opgezet, met verkeerde conclusies en beslissingen als gevolg. De sprekers op Conversion World delen daarom hun ervaringen en eigen ‘missers’ in de vorm van do’s & dont’s bij het opzetten en analyseren van een a/b-test. Hieronder hun belangrijkste tips.

Neem de tijd voor het opstellen van een goede hypothese

Zoals eerder genoemd is leren een van de belangrijkste doelen – of misschien wel hét belangrijkste doel – van conversie-optimalisatie middels a/b-testen. Door continu kleine experimenten te doen, leer je veel over wat wel en niet werkt voor jouw bezoekers en klanten. En door veel te leren, kun je vervolgens betere beslissingen voor (grotere) optimalisaties maken.

Maar om te kunnen leren, is het opstellen van een goede hypothese erg belangrijk. Hierdoor kun je een testidee heel gericht uitwerken en analyseren, en voorkom je dat je door een soort ‘cognitive bias’ een toevallig resultaat uit de steekproef aanneemt als waarheid van de door jou bedachte variatie. Maar hoe stel je een solide hypothese op?

Zoals de Deense Michael Agaard het zegt:

“A solid hypothesis is an informed solution to a real problem – not a random guess.”

Volgens Michael bevat een goede hypothese drie zaken:

1. De verandering.
2. Wat voor invloed het heeft op jouw bezoeker/klant.
3. De impact die je verwacht te zien.

Een format dat je hiervoor volgens Michael kunt gebruiken is:

“By changing………… into…………, I can get more prospects to…………and thus increase…………”

Een ingevuld voorbeeld:

“By removing the word “spam” and adding a guarantee, I can reduce friction, get more prospects to give me their information, and thus increase sign-ups.”

Door het toepassen van dit format zul je, als het goed is, kritischer nadenken over:

• wat je precies gaat testen;
• hoe jouw optimalisatie de perceptie (en daarmee het gedrag) van jouw bezoeker/klant beïnvloedt;
• wat je door het experiment hoopt te leren;
• wat de test jou vermoedelijk oplevert.

Hypothetiseren kun je leren, dus ik zou zeggen: stop guessing, start hypothesizing.

8 dingen die van een goede test een slechte test kunnen maken

Hoe het wel moet, daar heb je hierboven inmiddels een paar handvatten voor gekregen. Maar wat zijn de absolute dont’s? Justin Rondeau noemt in zijn keynote een aantal rake punten:

1. Men test wanneer/waar het niet relevant is of niks oplevert:

   • Pagina’s met te weinig verkeer. Gebruiker ABTestGuide.com om vooraf de power van je test te berekenen.
   • Slechte (niet doordachte) pagina’s. Advies: zet eerst een goede basis neer. Wanneer je een echt slechte pagina gaat optimaliseren, wordt hij hooguit iets minder slecht.

2. Men test teveel elementen tegelijk. Wanneer je van alles tegelijk test, kun je uit de analyse niet afleiden waar een eventueel resultaat door veroorzaakt wordt en kun je dus minder specifieke conclusies trekken.
3. Er is niet voldoende data. Wanneer je een site hebt met weinig traffic, kun je beter niet starten met a/b-testen. Je zult dan bijna nooit een significant resultaat kunnen vinden uit een test. Niet getreurd: er zijn nog genoeg andere technieken die je wél kunt toepassen.
4. Men test een te korte periode. Uit onderzoek blijkt dat 25 procent van de marketeers de test stopt wanneer de tool zegt dat de test klaar is. Er zit echter een verschil tussen significantie en het hebben van een valide steekproef. Zorg ervoor dat je steekproef groot genoeg is (minimaal 150 conversies per testvariant). Daarnaast is het advies een test maximaal 4 weken te laten lopen, omdat de resultaten anders vertroebelen door steekproefvervuiling (bijv. door het gebruik van meerdere devices of cookie deletion).
5. Men test geen hele weken. De conversieratio’s per dag van de week verschillen vaak sterk. Daarom is het belangrijk om volledige weken te testen, zodat je geen vertekend beeld krijgt.
6. Er is geen duidelijke hypothese. Benodigt geen toelichting meer, toch?
7. Men test ‘stomme’ elementen en meet de verkeerde dingen. Een oranje button kan 17 procent meer clicks opleveren dan een groene button. Maar wat leer je hieruit? En betekent dit ook dat er meer business value wordt gecreëerd? Zoals Justin noemt: “Marketers love metrics, bosses love money”.
8. Er worden meer resultaten aan een test toegekend dan zou moeten. Dit gaat bijvoorbeeld over het verschil tussen correlatie en een causaal verband. Ook hier geldt: houd jezelf niet voor de gek. Check of je hypothese wel/niet klopt, en ‘bedenk’ er geen extra resultaten bij.

“Marketers love metrics, bosses love money” – Justin Rondeau

Een nog groter succes

Gelukkig omarmen steeds meer organisaties conversie-optimalisatie als serieuze bezigheid en wordt steeds vaker hypothese-gedreven (door)ontwikkeld. Meer organisaties nemen webanalisten en conversie-specialisten aan om dedicated met optimalisatie aan de slag te gaan. De sprekers op Conversion World willen ons vooral meegeven: doe het goed, of doe het niet. Gooi niet met spaghetti, stel een goede hypothese op, meet de juiste dingen en trek geen valse conclusies. Zo maak je van jouw optimalisatieprogramma een nog groter succes.

Ik zou zeggen: always be testing! Veel optimalisatieplezier en wellicht tot volgend jaar op Conversion World.

Waar loop jij tegen aan bij het optimaliseren van jouw website of app? En hoe probeer jij conversie-optimalisatie binnen jouw organisatie nog succesvoller te maken? Ik ben benieuwd naar je reactie.