Meten is nog geen weten: 3 tips voor marketing accountability

15 februari 2011, 08:03

Meten is weten. Een veel gehoorde uitspraak als het om de accountability van marketing gaat. Als marketeers moeten we ons steeds meer gaan verantwoorden voor onze keuzes. En dat wordt ook nog eens moeilijker omdat het vak alleen maar complexer wordt. Tegelijkertijd zijn er wel meer mogelijkheden om het resultaat van – vooral online – marketingactiviteiten te meten. En daar maken we dan ook volop gebruik van. Maar is meten eigenlijk wel voldoende om marketingacties te verantwoorden? Een goed voorbeeld is het meten van de temperatuur. Stel dat je een temperatuur van 19 graden hebt gemeten, wat zegt dat dan? Eigenlijk nog helemaal niets. Het wordt pas zinnig als je een meting in context kunt plaatsen. Ten eerst moet je weten of je in Celsius of Fahrenheit hebt gemeten. En natuurlijk op welke plek de temperatuur is gemeten. Klinkt logisch, maar toch nemen we het niet zo nauw met deze logica als het om de marketingresultaten gaat. Ik wil jullie graag drie tips geven die helpen bij het verbeteren van de marketing accountability.

1 Weet wat je meet

Het begint bij de bron. Bij het meten van de temperatuur is het essentieel om te weten om welke meeteenheid het gaat. Hetzelfde geldt voor marketingcijfers. Vraag tijdens de volgende vergadering maar eens wat de meeteenheid of definitie van een klant is. Grote kans dat je verschillende antwoorden krijgt. Helemaal duidelijk wordt het bij een berekende meetwaarden, zoals het conversiepercentage. Deze is bijvoorbeeld te bereken door het aantal bestellingen te delen door het aantal verstuurde e-mails. Maar in plaats van de oplage kun je natuurlijk ook kiezen voor het aantal unieke klanten. En wat was de definitie van een klant ook alweer? Zo is een conversiepercentage al snel op 10 verschillende manieren te bereken. Sommige marketeers maken hier overigens handig gebruik van door de resultaten van campagnes naar hun hand te zetten. Op de korte termijn misschien goed voor de eindejaarsbonus, maar zeker niet voor de accountability.Een praktijkvoorbeeld aan de hand van Google Analytics:

Er zijn maar weinig gebruikers die weten hoe Google Analytics gegevens verzameld en bewerkt. Bij een berekende meetwaarden, zoals “time on site” worden niet alle pagina’s in de berekening meegenomen en komt dit dus niet overeenkomt met de werkelijk tijd. Wie dit niet weet kan hierdoor gemakkelijk de verkeerde conclusies trekken. Een definitieregister biedt hier uitkomst. Zorg dat de belangrijkste meetwaarden zijn omschreven en dat deze definities gemakkelijk toegankelijk zijn. Stimuleer mensen in het hele bedrijf om dezelfde definities te gebruiken zodat minder misverstanden ontstaan en rapporten en analyses beter met elkaar zijn te vergelijken. Voor Google Analytics is het definitieregister trouwens te vinden in Analytics Help.

2 Garbage in garbage out

Natuurlijk is het ook belangrijk om met betrouwbare en actuele gegevens te werken. Niet elke thermometer is even nauwkeurig. Hetzelfde kan gezegd worden van de methodiek waarmee marktonderzoek en databases gegevens worden verzameld. Met name bij marktonderzoek wordt het niet altijd even nauw genomen met representativiteit en de steekproefgrootte. En ook CRM systemen zijn vaak ernstig vervuild met dubbele, onvolledige, onjuiste en verouderde records. Door deze onbetrouwbare gegevens te gebruiken bij het analyseren van marketingacties zul je ook onbetrouwbare conclusies trekken. Nog een praktijkvoorbeeld aan de hand van Google Analytics.

Door de manier waarop Google Analytics gegevens verzameld, worden lang niet alle bezoeken geregistreerd. Omdat bezoekers bijvoorbeeld geen cookies accepteren of de tracking code hebben geblokkeerd. Zolang de steekproef groot genoeg en representatief is, is dit natuurlijk geen probleem. Google Analytics is immers bedoelt voor trendanalyse en minder geschikt voor feitelijke rapportage. Maar dit kan nog wel eens gaan veranderen als de wetgeving met betrekking tot cookies wordt aangepast en het aantal meetbare bezoekers verder zal afnemen. Hierdoor wordt de steekproef die Google gebruikt mogelijk een stuk kleiner en dus ook minder betrouwbaar.

Zorg dus voor betrouwbare meetinstrumenten. Temperatuur meet je toch ook niet met een kapotte thermometer? Om de kwaliteit van de brondata te bepalen is het belangrijk om de oorsprong en methodiek van de gegevensinvoer te kennen. De betrouwbaarheid van interne data, zoals klant- en transactiegegevens, kan aanzienlijk worden verbeterd door meer aandacht te besteden aan gegevensvalidatie bij de gegevensinvoer. Voorkomen is immers beter dan genezen. Omdat vaak technische of statistische kennis nodig is, is niet iedereen in staat om de kwaliteit van een databron goed te beoordelen. Als je niet zeker bent of moeite hebt met het beoordelen van de betrouwbaarheid, is het aan te raden een specialist om hulp te vragen.

3 Appels met peren vergelijken

Terug naar het voorbeeld van de temperatuur. Door de gemeten temperatuur in context te plaatsen is het mogelijk een oordeel te geven over de waarde van de temperatuur. Dit oordeel maakt het verschil tussen cijfers en informatie.

Om marketingcijfers te kunnen beoordelen heb je dus referentiekaders nodig. Het meest gebruikte referentiekader is tijd. We vergelijken cijfer bijvoorbeeld met de voorgaande periode of dezelfde periode een jaar eerder, waardoor een trend zichtbaar wordt. Bij gelijkblijvende omstandigheden is dan eenvoudig een trendlijn te berekenen. Helaas is het in de praktijk niet altijd zo simpel, want de omstandigheden van een meting veranderen continu. Iets dat jullie ongetwijfeld zullen herkennen van de weersvoorspelling. Om deze reden zijn ook twee identieke campagnes niet altijd met elkaar te vergelijken.

Dit probleem wordt goed geïllustreerd in het onderstaande filmpje van Google ACE. Deze tool helpt bij het testen en meten van veranderingen in zoekwoorden, biedingen, advertentiegroepen en plaatsingen. Door de test en metingen in dezelfde periode en omstandigheden uit te voeren ontstaat een betrouwbaarder beeld van de effecten van een wijziging in één van deze variabelen.

Dit voorbeeld maakt duidelijk dat om resultaten in de juiste context te plaatsen, het zinvol is deze niet alleen met tijd, maar ook met andere dimensie te vergelijken. Veel gebruikte dimensie in marketing en verkoop zijn: product- en klantdimensies. Denk bijvoorbeeld aan productgroepen en klantsegmenten. Door de resultaten van een bepaalde klant- of productgroep met andere groepen te vergelijken creëer je inzicht in de invloed die verschillende variabelen op deze groepen hebben. Omdat de omstandigheden waaronder de resultaten gehaald zijn voor deze groepen gelijk zijn, krijg je een betrouwbaarder beeld dan bij het vergelijken van de resultaten in verschillende periodes. In dit geval kun je door appels met peren te vergelijken, dus meer inzicht krijgen.

Uiteraard is het in de praktijk niet altijd zo zwart/wit en levert juist een combinatie van tijdreeks- en segmentanalyse de meeste inzichten op, en is daarmee ook de beste basis voor accountability. Het maken van deze analyses is echter behoorlijk complex en het vergelijken van appels met peren is daarom vaak een goed alternatief. De meest eenvoudige manier om deze methodieken te combineren is het gebruik van een controlegroep. De controlegroep heeft hetzelfde profiel als de doelgroep, maar neemt geen deel aan de campagne. Het verschil in resultaat tussen deze groepen kan dan worden verklaard als het gevolg van de campagne. Ook hier een kanttekening, want zeker bij langlopende en cross mediale campagnes is het lastig om de controlegroep over tijd representatief te houden of geheel af te afsluiten van de campagne.

Bedenk dus goed waarmee je de resultaten van je campagne wilt vergelijk. Ook als je al eens een vergelijkbare campagne hebt uitgevoerd, kunnen andere dimensies of controlegroepen mogelijk betere referentiekaders zijn voor accountability dan de eerdere campagne.

Tot slot

Het is gemakkelijk om resultaten van een campagne te meten, maar dat is niet hetzelfde als accountability. Laat je niet te snel verleiden door online tools en software met flitsende metertjes en blinkende lichtjes. Deze mooie verpakking is niet zelden bedoeld om de krakkemikkige inhoud te verbloemen. Met deze drie tips in het achterhoofd heb je de handvatten om verder kijken dan de temperatuur die de thermometer aangeeft. Het mag duidelijk zijn dat het creëren van accountability niet altijd even simpel is als het lijkt. Een goede expert kan je een eind op weg helpen.

Oscar Vermey
Marketingadviseur bij Knowhow Marketing BV

Ik ben een veelzijdige marketing intelligence adviseur met ruime ervaring in zowel operationele als strategische projecten, die bedrijven helpt slimmer te worden.

Categorie
Tags

7 Reacties

    André Scholten

    Goed artikel Oscar. Erg belangrijk om te weten waar je naar zit te kijken. Ik kom te vaak organisaties tegen die een bepaald rapport elke maand klakkeloos rond sturen zonder zich af te vragen wat ze eigenlijk versturen. Met een paar kritische vragen haal je dat rapport onderuit en kun je hem zinvoller maken.

    En naast de kennis van de metrics gaat het misschien nog wel vaker fout in de implementatie van tools. Zaken worden niet, fout of anders gemeten dan de werkelijkheid is. Toch worden op basis van die data belangrijke beslissingen genomen.

    Nog een praktijkvoorbeeld van Google Analytics: onlangs 2 klanten tegengekomen met een foutieve implementatie. Het bezoek-aantal was hierdoor bijna een keer te hoog, en daar werd al even mee gewerkt. 1 klant koos er voor bij de oude getallen te blijven…..en de andere onderkende de fout en liet de meting juist implementeren.


    15 februari 2011 om 08:52
    Mark van de Laak

    Zeker interessant verhaal.

    Ik denk echter wel dat de titel verder gaat het artikel zelf. In het stuk heb je het vooral over verzamelen van juiste data en het op de juiste manier interpreteren van die data. Accountability gaat echter veel verder denk ik. Uit Analytics een stijging in conversie% rapporteren is één ding, aan kun tonen dat actie x hiervoor verantwoordelijk is, is heel wat anders. Vooral online marketeers hebben de neiging om alle positieve effecten zich zelf toe te rekenen en verslechterende cijfers toe te wijzen aan het slecht weer, meer concurrentie, ontbreken offline mediadruk etc.

    Om hier een antwoord op te vinden is het belangrijk dat online een onderdeel is van de hele marketingmix en ook op basis daarvan gerapporteerd en geïnterpreteerd wordt. In tegenstelling tot tien jaar geleden is online niet meer los te zien van offline, waarmee accountability nog belangrijker maar ook complexer wordt.


    15 februari 2011 om 09:38
    jos

    Als je vooraf aan je campagnes doelstellingen opstelt, die uiteraard SMART zijn, dan kom je al een heel eind.

    Nog een correctie over de cookiewetgeving. Deze heeft betrekking tot third party cookies. Met first party cookies worden er geen problemen verwacht. Met andere woorden: Google Analytics heeft niets te vrezen.


    15 februari 2011 om 09:42
    MattijnDuinhoven

    Uitstekend artikel Oscar.

    Zelf gooi ik de volgende spreuk nogal eens de erther in ‘Hoe meer we meten, hoe minder we weten’. De marketeer heeft anno 2011 een legio aan meetinstrumenten tot zijn/haar beschikking. Maar wat vertellen al deze dashboards nou werkelijk?

    Zoals Andre al aangeeft is het vrij eenvoudig om sommige standaard metrics onderuit te halen met wat simpele vragen. Mijn advies (weer zo’n heerlijke tegekwijsheid) ‘bezint eer ge begint’.

    Bepaal wat je wilt gaan meten, hoe je dat gaat doen, in welke freqentie en wat je gaat doen als een bepaalde waarde afwijkt van je doelstelling. En dan kom je er vaak achter dat je van alles meet, maar soms niet kan doorgronden wat de reden is dat een consument de ene dag wel het gewenste gedrag toont en de andere dag niet..


    15 februari 2011 om 10:40
    knowhow

    Bedankt voor de reacties.

    @ Mark: Mee eens. Accountability gaat verder dan de voorbeelden die ik hier geef. Behalve een campagne zijn veel meer factoren van invloed op het resultaat. En zoals je aangeeft gaat het niet om één campagne maar de complete marketing mix. Een goede aanvulling! Je kunt daarnaast ook kijken naar de accountability op basis van een proceswijziging, zoals het bestelproces of klachtenafhandeling.

    De volgende stap is marketing intelligence. Dit gaat verder dan accountability, en is het proces waarbij markt- en klantgegevens continue worden omgezet naar informatie en uiteindelijk marketing- en verkoopactiviteiten, die vervolgens weer een nieuwe gegevensstroom creëren. Bij het opzetten van marketing intelligence draait het met name om het integreren van marktonderzoek, database marketing en webanalyse. Deze drie disciplines zijn nog te vaak eilandjes, waardoor geen compleet beeld bestaat van de invloed van verschillende factoren. En dus een belangrijke basis voor accountability ontbreekt.

    @ Jos: Doelstellingen zijn inderdaad een uitstekende referentie voor accountability. Het is soms wel lastig om doelstellingen ook echt SMART te krijgen. Hoe beter je instaat bent om het resultaat van een actie te voorspellen, hoe beter je de doelstellingen kunt bepalen. Ook hier geldt dus dat je – in dit geval vooraf – inzicht moet hebben in de invloed van alle factoren die het resultaat kunnen beïnvloeden. Hoe dan ook helemaal met je eens. Iedereen zou vooraf doelstelling moeten bepalen. En ook al zijn deze niet helemaal SMART ze geven toch altijd houvast en richting.

    En bedankt voor de correctie!


    15 februari 2011 om 15:08
    Jacqopmaat

    Op zich een prima artikel; jammer dat alleen het online gedeelte van marketing beschreven is. In die zin zou de kopregel als misleidend te interpreteren zijn. Voor veel fmcg-marketeers is de online wereld nog wat ver van het schap, het gangpad en de wegen die daarvoor door consumenten bekeken worden.

    Marketing wordt steeds gevoeliger, ofwel hoe raak je die juiste snaar – dat is wel degelijk te meten, maar wel met andere tools dan hierboven beschreven.


    15 februari 2011 om 17:39
    knowhow

    @ Jacques: Ik heb voor online voorbeelden gekozen, maar de tips zijn in principe ook voor andere situatie van toepassing. De rode draad in het verhaal is datakwaliteit en context, dit zijn belangrijkste ingrediënten voor accountability, ongeacht branche of verkoopkanalen. Misschien een gemiste kans om hierbij geen andere voorbeelden te geven. Ik zal ook eens nadenken over een artikel waarin ik de mogelijkheden van marktonderzoek en database marketing wat uitgebreider kan beschrijven.


    16 februari 2011 om 07:11

Marketingfacts. Elke dag vers. Mis niks!