Dynamische a/b-tests: leer je klant kennen via e-mail

5 oktober 2015, 11:00

E-mail wordt nog regelmatig gezien als ‘looskanaal’, waarin we gedachteloos boodschappen naar klanten sturen. Maar als we e-mail gaan bekijken als interactief kanaal, als vervolginteractie, kunnen we er enorm veel van leren. Bijvoorbeeld met dynamische a/b-tests.

Wie naar de complexe dynamiek rondom advertenties op sociale netwerken of naar de ‘full funnel‘-aanpak van webwinkels kijkt, vindt e-mails misschien maar een beetje achterhaald. E-mail wordt inderdaad vaak gezien als een simpel kanaal om maar communicatie te ‘lozen’: we sturen berichten naar onze klanten en hopen dat ze die berichten kunnen waarderen.

Toch zijn we minder naïef dan het lijkt: we kijken vaak naar de gegevens die onze e-mailcampagnes genereren en concluderen dat de e-mails van vorige week aanzienlijk meer kliks opleverden dan de e-mails van deze week. Vervolgens vragen we ons af waarom de e-mails van vorige week aantrekkelijker werden gevonden dan de nieuwste campagne die we verstuurden.

De meeste marketeers zijn ook wel op de hoogte van de meest rudimentaire vervolgstap als het gaat om het leren van e-mails. Zij kijken niet alleen naar trends binnen een bepaalde periode, maar gaan ook actief experimenteren. Een van de mogelijkheden die we dan tot onze beschikking hebben, is de a/b-test. Daarbij versturen we een versie van onze e-mails (versie ‘a’) naar 10 procent van onze klanten. Een andere 10 procent van onze klanten krijgt versie ‘b’. Daarna bekijken we de gegevens en sturen we de e-mail die het hoogste conversiepercentage opleverde naar de resterende 80 procent.

Door onze gegevens nauwlettend in de gaten te houden en door a/b-tests uit te voeren, krijgen we meer grip op onze e-mails. De kennis die we opdoen, kunnen we gebruiken in volgende campagnes. In dit blogbericht bekijken we een paar nieuwe manieren waarop we van e-mails kunnen leren en waardoor we e-mail net zo’n aantrekkelijk kanaal kunnen maken als alle andere kanalen. Als we e-mail niet slechts zien als één batch (dat deden we al niet meer bij de a/b-test, want daar maakten we onderscheid tussen de 20 procent die de test-e-mail ontving en de resterende 80 procent), maar als vervolginteractie, kunnen we nog veel meer leren.

Dynamische a/b-tests

De eerste stap die we zetten wanneer we meer van onze klanten willen leren – en effectiever willen communiceren – is het uitvoeren van een dynamische a/b-test. Bij a/b-tests wordt de e-mailbatch opgesplitst in een testperiode en een uitbuitingsperiode, waarbij de resultaten van de test worden uitgebuit. Dat kan echter beter. We kunnen de overgang tussen deze periodes namelijk ook dynamisch maken.

Het basisidee is simpel: binnen de a/b-test is er tijdens de testperiode een kans van 50 procent dat je e-mail ‘a’ ontvangt en een kans van 50 procent dat je e-mail ‘b’ ontvangt. Als de conversie van e-mail ‘a’ na de test het hoogst blijkt, verandert de kans respectievelijk naar 100 en 0 procent. Door echter naar een langere periode te kijken, kunnen we die kansen nuanceren: zonder gegevens is er in eerste instantie een kans van 50 procent voor beide e-mails, maar als e-mail ‘a’ beter blijkt te scoren, kunnen we de kans veranderen naar, laten we zeggen, 66 vs. 33 procent. Een dynamische a/b-test levert gegarandeerd betere resultaten op dan een statische test. Juist de manier waarop de kans wordt aangepast, is wat tricky, maar daar hebben we inmiddels een oplossing voor bedacht.

Het leuke aan deze dynamische a/b-test is dat hij niet alleen beter presteert dan een statische test, maar ook dat er altijd nieuwe opties aan de test kunnen worden toegevoegd. Je kunt bijvoorbeeld automatisch nieuwe versies toevoegen aan de automatisch gegenereerde e-mail die wordt verstuurd wanneer de inhoud van het winkelmandje van een klant vervalt. Je doet dan geen simpele ja- of nee-tests meer, maar verbetert voortdurend.

Leren

Door e-mails te zien als vervolgstappen in je communicatie met de klant, krijg je zelfs nog meer mogelijkheden. Hoe stel je bijvoorbeeld de beste prijs vast voor een nieuwe onlinedienst die je introduceert? Als de prijs te hoog is, zullen niet veel mensen zich op de dienst abonneren, maar als de prijs te laag is, verdien je er niets mee. Waar ligt dus de balans?

Je kunt natuurlijk een onderzoeksbureau een prijzige analyse van je potentiële klanten laten uitvoeren, maar waarom zou je je niet baseren op je e-maildatabase? Bied de klanten bijvoorbeeld stapsgewijs in e-mails nieuwe tarieven en kijk hoe ze daar op reageren. Zo kun je gemakkelijk je winst berekenen. Er bestaan effectieve algoritmen om dit te doen (pdf). Bovendien testen we deze methode op dit moment en vergelijken we de uitkomsten met alternatieven (zoals onderzoeksbureaus). We houden je ervan op de hoogte. Waarschijnlijk gaan we het ‘dynamische prijzen’ of zoiets noemen.

Personalisatie

Wanneer je binnen een bepaald tijdspad kunt leren van opeenvolgende communicatie, moet je nog veel meer kunnen leren van de opeenvolgende communicatie met individuele klanten. Als je je wekelijkse nieuwsbrief altijd naar dezelfde groep ontvangers stuurt, kun je op basis van de reacties op de nieuwsbrief actief leren waardoor je klanten overstag gaan.

We kunnen bijvoorbeeld via herhaaldelijke e-mails leren welke productvoorkeuren je klanten hebben. Welke films vinden ze leuk? Van welke muziek houden ze? En zijn ze gek op fietsen? We kunnen deze vragen actief testen in e-mails en vervolgens een profiel van de klant samenstellen.

We kunnen echter nog veel verder gaan: waarom zouden we niet leren wat écht werkt voor de klant, bijvoorbeeld of hij of zij van kortingen houdt of niet? Of dat hij of zij gek is op populaire producten? We moeten e-mails dus niet alleen zien als een manier om stapsgewijs onze klanten te leren kennen, maar kunnen psychologische profielen ontwikkelen waardoor we ze beter kunnen aanspreken.

Kennis gebruiken

We moeten, kortom, e-mail niet zien als ‘batchkanaal’ of ‘pushmedium’, maar als een interactief kanaal dat je in staat stelt om je klanten te leren kennen. E-mail kan dus net zo opwindend zijn als een sociaal netwerk. Bovendien weet je dankzij e-mail met wie je praat, waardoor je meer kennis over de ander ontwikkelt dan op menig ander kanaal. Wij zoeken altijd naar nieuwe manieren om te leren van e-mails.

Ten slotte kun je alles wat je van je e-mailcampagnes leert gebruiken in andere kanalen en vice versa. Gebruik bijvoorbeeld de productvoorkeuren van afzonderlijke klanten, die je leerde kennen via e-mail, direct in je webwinkel en omgekeerd.

E-mail is best wel cool, toch?

Maurits Kaptein
Chief Science Officer bij Webpower

Dr. Maurits Kaptein (1983) is wetenschapper en ondernemer, Hij promoveerde cum laude aan de TU Eindhoven en Stanford University met zijn onderzoek naar beïnvloedingsprofielen. Tijdens zijn promotie droeg hij bij Philips Research bij aan de ontwikkeling van producten die gebruikers motiveren om gezonder te leven. Momenteel is Maurits Kaptein assistent professor Artificial Intelligence aan de Radboud Universiteit te Nijmegen. Daarnaast is hij Chief Scientist Officer bij Webpower. Maurits' wetenschappelijk onderzoek is gepubliceerd in toonaangevende journals zoals het Journal of Interactive Marketing. Zijn werk is beschreven in de meerdere week en dagbladen zoals Wired (USA), het Financieel Dagblad en Bright. In November 2012 verscheen zijn boek “Digitale Verleiding”.

Categorie
Tags

8 Reacties

    michelhendriks

    Super interessant artikel, Maurits!

    “[..] maar als e-mail ‘a’ beter blijkt te scoren, kunnen we de kans veranderen naar, laten we zeggen, 66 vs. 33 procent. Een dynamische a/b-test levert gegarandeerd betere resultaten op dan een statische test.”

    Kun je uitleggen waarom dat precies is? Ik begrijp dat je weet dat er in de test ook mensen zitten waarvoor B de beste optie is en niet A, maar door optie B alsnog in de mix op te nemen weet je toch niet of je B naar de juiste mensen stuurt?

    En e-mail is heel cool, maar dat wist ik natuurlijk al 😉


    6 oktober 2015 om 08:18
    MauritsKaptein

    Hi Michel,

    Bedankt voor je reactie!

    Dit soort dingen zijn in een korte reactie vrij moeilijk uit leggen, maar ik doe een poging. Bij de (dynamische) a/b-test zijn we nog niet aan het personaliseren, dus je stuurt de email niet naar “de juiste mensen”. Impliciet ga je ervan uit dat alle mensen hetzelfde zijn (net als je bij de gewone a/b-test doet).

    Het aanpassen van de kansen doe je alleen om er voor te zorgen dat je tegelijk “leert” welke versie het beste is (met de assumptie dat je een homogene groep ontvangers hebt), en de kennis die je krijgt ook benut.

    Ik hoop dat je hier iets aan hebt!


    6 oktober 2015 om 10:55
    Maurice Beerthuyzen

    Leuk artikel Maurits,

    zoals ik het lees gebruik je dus een bandit algoritme om optimaal te converteren. Maar ik neem aan dat jullie ook eerst beginnen met een aantal conventionele a/b testen om de dialoog met de klant te leren kennen? Het geleerde stop je vervolgens in de bandit. Of werkt dat bij email anders?


    13 oktober 2015 om 07:38
    MauritsKaptein

    Hi Maurice,

    Dankjewel! En als antwoord op je vraag: Conventionele AB tests hebben voordelen; al is het maar een definitieve “stopping rule”, en daardoor dus een manier om de hoeveelheid concurrerende content te beheersen. Een combinatie van beide methoden is prima, en in sommige gevallen inderdaad praktisch wenselijk.


    13 oktober 2015 om 09:01
    patricksteenks

    Ben erg benieuwd naar de tools die jullie gebruiken om de dynamische tests op te zetten. Is dit volledig geautomatiseerde of wordt de test handmatig dynamisch gemaakt?


    21 oktober 2015 om 05:17
    896779486@qq.com

    896779486@qq.com896779486@qq.com896779486@qq.com896779486@qq.com896779486@qq.com896779486@qq.com896779486@qq.com


    30 september 2016 om 06:20
    896779486@qq.com

    896779486@qq.com


    30 september 2016 om 06:28

Marketingfacts. Elke dag vers. Mis niks!