Stop met testen, start met optimaliseren!

Een jaar geleden blogde ik optimistisch: “We moeten testen en optimaliseren voor segmenten, niet voor een gemiddelde bezoeker.” En: “Als we echt stoer zijn, laten we het optimaliseren aan algoritmes over in plaats van alles handmatig te doen.” Mijn toekomstmuziek van toen, is de werkelijkheid van vandaag. Marketeers testen nu voor verschillende segmenten bezoekers en doen dat bovendien niet meer met de hand, maar werken met banners, teksten, knoppen en lightboxes die zichzelf optimaliseren. Wat doe jij? Ben jij al gestopt met handmatig testen en optimaliseren?

Stop testen, blijf optimaliseren

Testen en optimaliseren worden vaak in één adem genoemd. We zijn gewend dat we websites alleen kunnen optimaliseren als we ze van tevoren uitgebreid en volgens de regels hebben getest. Neem bijvoorbeeld een typische A/B-test in online marketing, waarbij we twee versies van een banner uitserveren. Ook al presteert de ene slechter dan de andere, we wachten tot de test voltooid is voordat we de ineffectieve versie weghalen. Het conversieverlies van de minst effectieve banner is de prijs die we betalen voor het ontdekken van de best werkende banner.

Testen en automatiseren zijn dus een symbiose: het ene kan niet zonder het andere. Of toch wel? Met testen ben je relatief veel tijd kwijt (en dus geld) en het leidt tot conversieverlies (want je serveert in de testperiode potentieel ineffective boodschappen uit). Optimaliseren daarentegen kost weinig tijd en levert juist direct resultaat op. Met dat testen zouden we dus liever stoppen om in het vervolg alleen nog maar te optimaliseren. Dat was altijd onmogelijk, tot voor kort.

Leren van de medicijnenindustrie

De oplossing komt uit een onverwachte hoek: de medicijnenindustrie. Hier speelde eigenlijk hetzelfde probleem. Stel, je test niet twee banners, maar twee medicijnen. Het ene is een nieuwe remedie tegen een fatale ziekte (experimentele groep), het andere is een placebo (controlegroep). Zo’n test was succesvol als de patiënten in de experimentele groep genazen en de patiënten in de controlegroep het niet overleefden. Vergelijkbaar met ons conversieverlies, maar dan met heel wat ingrijpendere gevolgen.

Precies om die reden is Harvards wiskundeprofessor Herbert Robbins hier onderzoek naar gaan doen. Hij ontwikkelde een algoritme dat het mogelijk maakt tegelijkertijd te testen en te optimaliseren. Zijn algoritme komt er in het kort op neer dat je de pillen (of banners) niet altijd meer om en om moet uitserveren, maar dat je de pil die net iets beter presteert ook alvast iets meer gaat aanbieden. Daardoor ben je aan het einde van je test alleen nog de best werkende versie aan het uitserveren. De optimalisatie heeft dus al plaatsgevonden tijdens het testen, zonder afbreuk te doen wetenschappelijke significantie. Het algoritme van Robbins is gebaseerd op het multi-armed bandit-principe. De kracht ervan schuilt in het feit dat het zelflerend is. Op basis van prestaties uit het verleden wordt de toekomstige balans in het uitserveren bepaald.

Dat kunnen wij ook

Robbins zorgde voor minder patiëntverlies met behulp van zelflerende optimalisatie. Ik zeg: wat ze in geneeskunde kunnen, kunnen we in marketing ook. Ontdek al bij de eerste paar honderd uitgeserveerde testbanners wat je placebo-banner is, en serveer die minder vaak uit ten gunste van je hoog converterende banner(s).

Dankzij dit algoritme is de toekomstmuziek waar ik vorig jaar over schreef, vandaag de dag werkelijkheid geworden. In maart werd in Nederland het algoritme van zelflerende optimalisatie voor marketeers geïntroduceerd en is sinds september zelfs actief in het Google Analytics Content Experiments Platform. Het algoritme werd populair, want het gaat conversieverlies tijdens de testperiode tegen én het neemt marketeers veel werk uit handen. Hiermee is een nieuw tijdperk in website-optimalisatie aangebroken. Volgens de eerste doorberekeningen levert het zelflerende algoritme zo’n 80 procent meer conversie op tijdens de testperiode.

Terug naar de kern van marketing

Labjas uit en veiligheidsbril af; het is weer tijd om door het hippe montuur van onze marketingbril te kijken. Nu we niet meer zoveel tijd kwijt zijn aan het opzetten en uitvoeren van testen, kunnen we ons weer focussen op datgene waar we als marketeers echt in excelleren: verleidende boodschappen ontwikkelen voor verschillende doelgroepen.

Marketoonist Tom Fishburn publiceerde laatst een cartoon over lolcats (grappige afbeeldingen of videos van katten). Dit is wat je krijgt als je de gemiddelde webbezoeker vraagt wat hij het liefste ziet. De cartoon van Fishburn wijst ons op de keerzijde van zelflerende optimalisatie. Met dit algoritme wordt je online koers namelijk bepaald door de mening van de massa. Wisdom of the crowds is dus alleen waardevol als je de juiste groep mensen raadpleegt en zo optimaliseert voor relevantie in plaats van voor ‘gemiddeldheid’.

Mogelijk? Jazeker, dit doen we door slimme profiling-technieken te gebruiken. Daarmee herkennen we de terugkerende klant, de merkfan en de high-end consument om vervolgens de juiste boodschap voor de juiste groep bezoekers te optimaliseren. Zo houden we niet alleen de lolcats van onze website, maar creëren we een website die zichzelf doelgroepgericht optimaliseert.

Ik zie dit steeds meer toegepast worden. En jullie? Al gestopt met testen?