Experimenteren met het meten van je online campagnes, hoe doe je dat?

Een serie van vier artikelen over de meest gebruikte analysemethoden. Deel 4: experimenteren

Als je als online marketeer wilt weten hoe effectief je online campagnes zijn, kun je verschillende analysetechnieken inzetten om op die vraag een antwoord te krijgen. In dit artikel bespreek ik in meer detail wat experimenten precies zijn, welke typen er zijn en wanneer je ze kunt inzetten.

Eerder keek ik naar waarom je als online marketeer zou willen weten wat het effect van je online campagnes is en dat je attributie, media mix modeling en experimenten kan gebruiken om daar inzicht in te krijgen.

Wat zijn experimenten?

Analyses als attributie en media mix modeling zijn gebaseerd op wat we observationele data noemen. Dat wil zeggen, je kijkt naar wat er over tijd aan verkoop binnen komt en probeert een verband te vinden tussen hoeveel je uitgeeft aan je mediakanalen en het aantal verkopen. Maar eventuele externe factoren die ook een invloed kunnen hebben op het aantal verkopen worden hiermee niet uitgesloten, waardoor je niet kunt aantonen hoeveel mensen je product hadden gekocht als je geen campagnes had gedraaid.

Stel bijvoorbeeld dat je toevalligerwijs altijd campagnes draait op het moment dat mensen hun salaris krijgen, dan kan het zijn dat het lijkt dat altijd als je campagnes draait mensen meer gaan kopen, maar dit eigenlijk komt omdat ze meer geld te besteden hebben. Om dit soort effecten uit te sluiten kun je experimenten doen. Ook als je je mediastrategie wilt veranderen (en bijvoorbeeld in een kanaal heel erg veel meer wilt investeren dan je in het verleden hebt gedaan), dan is het lastig om historische (observationele) data te gebruiken om het effect daarvan inzichtelijk te maken. Hiervoor zijn experimenten uitermate geschikt.

Minder kans op scheve verdelingen

Bij een experiment verdeel je de mensen die normaal je advertentie zouden zien in twee groepen. Eén groep krijgt tijdens het experiment je advertentie niet te zien (dit is de controlegroep) en de andere groep krijgt je advertentie wel te zien (dit is de testgroep). Het idee is dat, doordat je mensen willekeurig over de groepen verdeeld, en het om vaak om relatief veel mensen gaat, er eigenlijk geen verschil kan zijn tussen de groepen (als je bijvoorbeeld geïnteresseerd bent in autoverkoop dan wil je niet dat er in één groep meer mannen zitten dan in de andere waardoor je resultaten beïnvloed zou kunnen worden). Wanneer je groepen dus groot genoeg zijn en willekeurig verdeeld zijn, zal de kans op zulke scheve verdelingen heel klein zijn.

Als de campagne lang genoeg heeft geduurd en er genoeg mensen in iedere groep zitten, kijken we naar de hoeveelheid aankopen in de controlegroep (die je advertisement niet zag) en de hoeveelheid aankopen in de testgroep (die je advertisement wel zag) in dezelfde periode. Als hier een significant verschil in is, kun je concluderen dat dit komt door je campagne want alle overige factoren waren gelijk over de twee groepen.

Het enige wat anders was is dat de ene groep je advertentiezag en de andere niet. Als je bijvoorbeeld 5.000 aankopen had in je controlegroep en 7.000 in je testgroep, en als dit een significant verschil is, weet je dus dat je campagne voor 2.000 extra aankopen heeft gezorgd in de periode van het experiment.

Lift study versus geo-experiment

We hadden het al even over het verdelen van wie je advertentie wel en niet te zien krijgt tijdens een experiment. Wanneer je dit alleen wilt doen voor online verkoop dan kun je voor ieder kanaal dit afzonderlijk testen. Zulke experimenten noemen we ‘lift studies’, omdat je kijkt hoeveel uplift je campagne (hopelijk) veroorzaakt heeft. Deze lift studies vinden meestal plaats in de platformen van de desbetreffende kanalen zelf (bijvoorbeeld binnen Facebook of binnen Google). Wie in welke groep terechtkomt, wordt dus bepaald door die platformen. Zou je twee experimenten tegelijk willen draaien op twee verschillende platformen, dan kan het zijn dat iemand in het ene experiment in de controlegroep valt maar in het andere experiment in de testgroep. Dit kan je resultaat verstoren.

Wie in welke groep terechtkomt, wordt bepaald door de platformen

Willen we dus meerdere kanalen tegelijk meenemen, dan kun je er voor kiezen om een ‘geo-experiment’ te doen. Dat wil zeggen dat je je groepen niet random verdeeld maar dat mensen in sommige regio’s je advertentie wel te zien krijgen en in andere niet. Het is daarbij zaak dat je de regio’s die in de controlegroep vallen en die in de testgroep vallen niet te veel van elkaar verschillen. Het voordeel hiervan is dat je duidelijk kunt aangeven (over platformen heen) wie in welke groep moet vallen.

Verder kun je, als je per winkelfiliaal het aantal verkopen weet, ook meteen meten of er verschillen zijn tussen het aantal verkopen bij filialen die in de controle regio’s vallen en filialen die in de test regio’s vallen. Zo kan ook het effect van je online campagne op de offline verkopen in kaart gebracht worden.

Wat betreft geo-experimenten is het wel goed om erbij te vermelden dat in een relatief klein land als Nederland, waar veel gereisd wordt, je natuurlijk nooit helemaal kunt uitsluiten dat mensen je reclame niet zien. De resultaten van een dergelijk experiment zijn dus nooit helemaal 100 procent betrouwbaar maar geven wel een goede indicatie om je mediastrategie op te baseren.

Voor- en nadelen

Experimenten hebben een aantal voor- en nadelen. Hier geven we een kort overzicht van de belangrijkste.

Wanneer zet je experimenten in?

Wil je de incrementele waarde van een bepaalde campagne weten op de online sales, gebruik dat een lift study. Wil je ook het effect op de offline sales testen, gebruik dan een geo-experiment. Wil je een weten wat het effect is van een bepaalde media strategie die nog niet eerder is voorgekomen, dan kun je ook gebruik maken van experimenten.