Thomas Cook, Avinash Kaushik en bol.com – verslag Webanalytics Congres 2012

Dat online marketing niet over budgetten, clicks, conversies en CPA’s zou moeten gaan werd tijdens Webanalytics Congres afgelopen donderdag wederom duidelijk. Optimaliseren op de gebruikerservaring en zo de bezoeker meer waarde laten ervaren lijkt ´key´ te zijn in het snel professionaliserende internationale e-commerce landschap. Dit houdt automatisch in dat online marketeers van vandaag die dit principe snappen, de verzamelde (bakken met) data juist weten te interpreteren en er (door middel van kwantitatief en kwalitatief onderbouwde business cases) in slagen de e-commerceorganisatie de juiste richting op te laten bewegen, de online koningen van morgen zullen zijn. Dat er een tekort is aan mensen die dit spel goed begrijpen, bleek wel uit het (relatief) groot aantal vacatures dat tijdens het congres, onder de hashtag #wac12, werd verspreid.

Tijdens het Webanalytics Congres, dit jaar vanuit Houten, werden de aanwezigen twee dagen lang getrakteerd op een volledige update van web analytics, gecombineerd met praktische tips en mooie praktijkcases van grote Nederlandse adverteerders. Aan André Scholten en mij de eer om namens Marketingfacts op de congresdag aanwezig te zijn en verslag te doen van de meest interessante sessies die ik bezocht. Vandaag mijn verslag van de dag, later deze week volgt André's videointerview met Avinash Kaushik.

Matthew Niederberger – Thomas Cook

Matthew Niederberger, verantwoordelijk voor User Experience bij Thomas Cook, is een voorloper in het testen van nieuwe tools. Tijdens deze sessie schetste hij een goed beeld wat er bij Thomas Cook aan website-/conversieoptimalisatie gebeurt en welke inzichten dit tot nu toe al heeft opgeleverd.

Als eerste stap oppert Matthew om het potentieel te berekenen. Eenvoudig is te zeggen dat iedere niet-converterende bezoeker op de website voor gemiste omzet staat. Dat dit te kort door de bocht is, bleek wel toen er een user survey werd uitgevoerd op de website. Hieruit bleek dat ´slechts´ 12% van de bezoekers de website daadwerkelijk bezocht om een vakantie te boeken. Met een (fictief) conversiepercentage van 1% houdt dit in dat 1 op de 12 bezoekers met koopintentie converteren, het potentieel van conversieverbetering ligt hiermee dus (in theorie) op een factor 12.

Matthew adviseert de zaal te beginnen met website-optimalisatie waar het geld zit. Dit is vaak in de funnel, waar eenvoudig te berekenen is wat de ‘loss’ is bij de verschillende stappen. In de latere vragenronde wordt duidelijk dat vooral bij deze stappen is begonnen om zo commitment te krijgen van de CMO/board.

De meeste uitval bleek voor te komen in de stap waar de persoonlijke gegevens ingevuld moeten worden en in de betalingsstap. Na een interne brainstorm bij Thomas Cook werd al snel de hypothese opgesteld dat dit zou komen doordat bij een iDeal-betaling het gehele bedrag betaald dient te worden ipv een aanbetaling.

22% van de jaarlijkse boekingen vind plaats in het eerste gedeelte van het vroegboekseizoen (dec-jan) en mensen hebben dan hun vakantiegeld nog niet binnen. Daarnaast hebben boekers het geld niet altijd direct beschikbaar op het moment van boeken; dit moet vaak van een spaarrekening worden vrijgemaakt. Deze redenen bleken echter geen grote rol te spelen in de relatief grote uitval bij deze stappen, wat dus wederom het belang van goede metrics (om onderbuikgevoel te toetsen) onderschrijft.

Maar wat is dan wel de reden waarom bezoekers in het boekingsproces uitvallen? Om beter inzicht te krijgen in de motieven van de (bijna) uitvallende bezoekers is Kissinsights ingezet. Deze tool laat aan bezoekers die ‘funnel verlatingsgedrag’ vertonen een vragenlijst zien waarin gevraagd wordt naar hun motieven om het boekingsproces te verlaten. Binnen 72 uur verzamelde Kissinsights ruim 2.000 reacties (uit >12.000 vertoningen van de vragenlijst). Hieruit kwam een veelvuldigheid aan antwoorden naar voren (op deze volgorde van belangrijkheid);

• Ik moet dit eerst met mijn (reis)partner overleggen.

• Ik wilde alleen de totale prijs weten.

• De totale prijs was te hoog.

• Ik moet eerst geld overmaken vanaf mijn spaarrekening.

• Ik kon niet betalen door een error op de website.

• Het heeft mijn voorkeur om te boeken bij een reisbureau.

• Overige redenen; voorkeur vliegmaatschappij, het pas tonen van kortingen in een latere stap, etc.

Dit zijn natuurlijk interessante data. In de volgende fase is het belangrijk deze data te vertalen in de echte (achterliggende) problemen;

• Het getoonde aanbod is niet overtuigend genoeg.

• Eerst kijken, boeking vindt plaats samen (/na overleg) met (reis)partner.

• Een specifieke airline (Onur Air) worden door 7% van de potentiele klanten vermeden.

• Het niet consistent tonen van kortingen leidt bij 6% tot verwarring.

Matthew ging op een paar van deze problemen dieper in en droeg een paar mogelijke oplossingen aan:

Kijken om te boeken, boeking vindt plaats samen (of na overleg) met (reis)partner

Bezoekers die met partner willen boeken ervaren klaarblijkelijk de ‘sense of urgency’ niet. Een tijdsgebonden aanbieding zou deze bezoeker misschien al eerder kunnen overtuigen.

Een andere optie is aan de boeker een bedenkperiode aan te bieden. Zo kan de boeker de reis eenvoudig annuleren/wijzigen. KLM gaat hier ook slim mee om. Voor ongeveer €10 is het mogelijk een optie op een ticket te nemen van maximaal 14 dagen. Op deze manier kan de potentiele boeker nadenken of overleggen terwijl het ticket gegarandeerd beschikbaar blijft in deze periode. Daarnaast is de potentiele boeker zo al verbonden aan KLM, de kans dat hierdoor het ticket uiteindelijk bij KLM wordt geboekt, is groter.

Specifieke airlines (waaronder Onur Air) worden door 7% van de potentiele klanten vermeden

De bezoekers die aangaven een andere airline te verwachten, rekenden minimaal op Transavia . Ook gaven enkele bezoekers aan extra te willen betalen voor deze airline. Het blijft natuurlijk de vraag of de uitkomsten van de survey (attitude) uiteindelijk overeenkomt met het gedrag van de bezoeker. Oftewel, zouden boekers ook echt meer betalen voor een andere airline of juist uitvallen omdat de airline niet hun voorkeur heeft?

Voor wat betreft de technische storingen werden bij Thomas Cook (via IP Adress) de sessies teruggekeken middels Tealeaf. Het bleek inderdaad in de meeste gevallen te kloppen dat deze technische storingen plaatsvonden. Matthew gaf aan dat het nabellen van deze (maar ook andere afhakers) vaak een positief effect heeft, mits er wordt gezegd dat er wordt nagebeld omdat er een vermoeden is dat er iets technisch is misgegaan in de sessie.

Avinash Kaushik – Why ‘we’ suck at web analytics

Na Matthew Niederberger was het tijd voor Avinash Kaushik. Als schrijver van 2 boeken, eigenaar van een van de best gelezen Webanalytics blogs (www.kaushik.net) en vaste evangelist van Google Analytics, is Avinash internationaal de meest voorkomende naam wanneer het over Webanalytics gaat. Dagvoorzitter Matthijs van den Broek kondigt Avinash aan met een van zijn recente quotes:

The single biggest mistake web analysts make is working without purpose. We work very hard. We torture SiteCatalyst. We send out a lot of data. Then we resend it again and again. And yet our work results in very little impact on the business in terms of action taken by company leaders. Why this sad state? Almost always we dive into the ocean of data first. Sadder still, we don't ask questions later. We never ask questions.

No questions. No tie to what's important. No impact from the data.

De toon is gezet. In 1,5 uur vertelt Avinash op de bevlogen en inspirerende manier die we van hem gewend zijn. Met veel humor stipt hij aan wat er allemaal nog niet goed is op het web en met de inzet van web analytics. Avinash heeft er veel werk van gemaakt en z’n hele presentatie volgeladen met treffende Nederlandse voorbeelden.

Zo begint hij te vertellen dat “on the web we have access to more data than God wants us to have”. Toch lijken we er niet in te slagen om de juiste data te rapporteren. We meten de verkeerde dingen en nemen daarom stomme beslissingen, aldus Avinash.

Avinash neemt afstand van (absolute) KPI’s als visits, pageviews, clicks, followers, fans, likes en verwelkomt relatieve KPI’s.

Hoe dan wel?

In wat hij ‘holistic succes’ noemt geeft Avinash zijn visie op een aantal deelgebieden binnen het meten en verbeteren van online activiteiten;

1. Excelleer op user experience

Internet biedt gigantische kansen voor advertising. In tegenstelling tot bijvoorbeeld de televisie (waar je geen idee hebt wat mensen willen) zeggen consumenten direct tegen Google waarnaar ze op zoek zijn. Waarom schotelen grote adverteerders bezoekers dan nog steeds een ’generic breakfast’ voor?

Als voorbeeld laat Kaushik een aantal AdWords-resultaten zien, bijvoorbeeld “flight Amsterdam to Tokyo”. Zowel Vliegtickets.nl als eDreams laten de bezoeker landen op een generieke pagina, niet op een gepre-fillde boekingsmodule. Dit terwijl bijvoorbeeld eDreams de bezoeker in de organische resultaten wel een goed resultaat voorschotelt (‘why would you pay and suck’). Kaushik is overigens lyrisch over de user experience die Skyscanner realiseert.

Ook over de user experience van Nederlandse websites heeft Avinash weinig goeds te melden. Websites van Bobshop, Philips, Keukenhof, Muziektheater Amsterdam bekeken via een mobiel of tablet krijgen er flink van langs.

Hij zegt dat de bounce rate laat zien hoe je bezoekers teleurstelt ‘i came, i puked and left’. Bouncers zijn eigenlijk de ultieme belediging voor je website omdat dat bezoekers zijn die het niet eens de moeite vinden om er een actie (bijvoorbeeld click) op uit te voeren.

Ook de Telegraaf moet het ontgelden, met een homepagina die ongeveer 30x een reguliere schermresolutie lang is en 437 links bevat. Avinash baalt van content websites die sterk geoptimaliseerd zijn voor impressies terwijl deze geoptimaliseerd zouden moeten zijn voor bezoekerstrouw.

Ook laadtijd wordt steeds belangrijker. Het omslagpunt waarop laadtijd de conversie begint te beïnvloeden ligt volgens hem op 250ms (1/4 seconde) en dat is best laag. Als de laadtijd 1 seconde is kost dit 7% van het conversiepercentage. Mede om deze reden baalt hij ook van het veelvuldige gebruik van Flash. Avinash adviseert aanwezigen om tegen hun webdevelopers te zeggen dat iedere keer dat er flash wordt gebruikt ‘een puppy dood gaat’.

2. Rethink social

Social wordt beoordeeld op de verkeerde KPI’s, zoals followers, fans en likes. Dit komt omdat het web analytics team rapporteert op de verkeerde KPI’s en zo het management verkeerd opvoedt. Veel beter zou zijn om social op echte engagements te beoordelen, zoals audience rates (audience per social contribution), applaus rate (comments/shares/likes per social contribution) of op economic value (short/long term revenue and cost saving) voor het bedrijf.

In wat Avinash ‘the amplification rate’ noemt, wordt de waarde van ware content duidelijk. Avinash bereikt zelf ongeveer 70.000 followers op Twitter. Wanneer al zijn followers zijn tweet zouden retweeten neemt dit bereik toe tot ca. 7 miljoen. Avinash liet nog de tool TrueSocialMetrics (zie onderstaand screenshot) zien welke eenvoudig een score geeft van de engagements op Twitter, Facebook, Google+ en Blog.

Met Nederlandse voorbeelden toont Avinash dat ook veel Nederlandse bedrijven er weinig van begrijpen en via social media (op een traditionele reclameachtige manier) tegen hun followers schreeuwen. Vergelijkers Beslist.nl en Kieskeurig.nl kregen er hard van langs. Deze plaatsen grote hoeveelheden posts op bijvoorbeeld Facebook waarop (nagenoeg) geen interactie vanuit de followers is.

Avinash benadrukte dat de tijd van traditionele advertising, waarbij je zo hard mogelijk schreeuwt tegen de doelgroep, steeds meer voorbij is en als we harder blijven schreeuwen raken we onze klanten langzaam maar zeker vanzelf kwijt.

3. Intelligent attribution

Ook attributie was een onderwerp dat behandeld werd. Hiervoor werd de Multi Channel Funnel tool in Google Analytics gebruikt. Avinash laat hierbij een screenshot zien van een retailer met 500k omzet. Deze omzet komt binnen uit 18.000 verschillende conversiepaden. De data is dus zeer veelzijdig.

De manier om hiermee om te gaan is door op verschillende manieren naar de data te kijken. Avinash laat zien hoe hij de eerste en laatste click-data exporteert. Middels een javascript tool, Data Driven Documents, tovert hij een aantal mooie visualisaties naar voren waarin zichtbaar wordt hoe verschillende kanalen elkaar beïnvloeden.

Als laatste ging Avinash nog in op de verschillende attributiemodellen; last click, first click, equal distribution en time decay (bij deze laatste krijgen clicks die korter geleden hebben plaatsgevonden meer waarde). Avinash adviseerde om niet één model als waarheid aan te nemen, maar vanuit verschillende hoeken naar de data te kijken. Kijk daarna goed wat de verschillen van de prestaties van kanalen zijn als je er op een andere manier naar kijkt, dan ontstaat er een beeld.

Verder hamerde hij erop dat met conversie-attributie bezig zijn, betekent dat je bezig bent er minder naast te zitten (‘be less wrong’). Hiermee doelt hij erop dat je nooit de absolute waarheid zult weten. Er zijn teveel factoren en variabelen die de data onvolledig maken (bijvoorbeeld cross device oriëntatie, off line reclame, word of mouth, etc.).

4. Controlled experiments

Avinash is ook een voorstander van controlled experiments. Dit houdt in dat bijvoorbeeld mediainkoop een tijdje gestopt wordt om te onderzoeken wat het effect is. Omdat hierbij soms andere factoren een rol kunnen spelen in de dataset (bijvoorbeeld weer, andere aanbieding dan in de referentieperiode, etc.) is deze data niet altijd betrouwbaar. Hij adviseert dan om controlled experiments te doen in bepaalde regios, zodat de uitkomsten vergeleken kunnen worden met andere regio’s.

Praktische tips

Avinash sloot af met een aantal praktische take-aways voor om tot een goed web analytics proces te komen:

1. Neem de juiste mensen aan; investeer niet in ‘reporting monkeys’ maar in ‘conversion ninjas’ die goed om kunnen gaan met wetenschappelijke methoden.

2. Reserveer 10% van je budget voor constant falen en leren.

3. 99% van het succes staat of valt bij structureel denken.

4. Voedt als webanalist je managemers goed op. Indien ze jou beoordelen op de verkeerde KPI’s, dan komt dat omdat je ze niets anders gegeven hebt.

5. Realiseer je dat je als web analist nooit een sluitende dataset zult hebben. Cross device data zal bijvoorbeeld nooit goed gekoppeld kunnen worden vanwege privacywetgeving. Wel kun je bezoekers een incentive geven om in te loggen en meer data te meten in de back office (kan natuurlijk ook in analyticspakketten, maar hier zal Avinash als Google-evangelist natuurlijk niet zo snel iets over zeggen :-)).

bol.com – Niels Basjes

Niels Basjes is IT-architect bij bol.com. Hij begint zijn verhaal met enkele wapenfeiten:

• Bol.com heeft 3,4 miljoen klanten.

• Bol.com heeft een assortiment van ruim 5 miljoen producten.

• Bol.com heeft ongeveer 17,5 miljoen producten verkocht in 2011.

Webanalyse is bij bol.com erg belangrijk. Dagelijks verzamelt de front end 7 GB aan (gecomprimeerde) click stream data. Deze data biedt natuurlijk een schat aan informatie wanneer het op bezoekersgedrag en gebruikerswensen neerkomt.

Basjes vertelt enthousiast hoe ze de afgelopen periode druk bezig zijn geweest met het verbeteren van de interne zoekmachine. Deze zoekmachine is een belangrijke conversieroute voor bol.com; ‘search, find, choose en buy’. De zoekmachine is ook een tool om automatisch klanten te helpen.

Toen ze met de zoeksuggesties begonnen, hadden ze bedacht dat iedere zoekopdracht een mogelijke suggestie is. Dit bleek niet goed te werken omdat er ook gezocht wordt op artikelen die bol.com niet in haar assortiment heeft, bijvoorbeeld het “Nijntje dekbedovertrek”. Zoekers vonden dit een interessante suggestie maar werden teleurgesteld.

Het besef dat er verder moest worden gekeken was aanwezig. Er werden vier fasen benoemd in het zoekproces:

1. Zoekopdracht invoeren

2. Klikken op zoekresultaat

3. Uitkiezen product

4. Kopen product

Toen is besloten de latere fasen in dit proces zwaarder mee te nemen in het serveren van de zoeksuggesties. Door ook de koopdata mee te nemen worden er automatisch zoekopdrachten op niet aanwezige producten (zoals het “nijntje dekbedovertrek”) voorkomen.

Ook wordt de actualiteit meegenomen. Het algoritme kijkt naar de koopdata van de afgelopen 12 weken. De meer recente koopdata telt zwaarder mee. Zo werd er op 12 februari ineens veel gezocht naar Whitney Houston. Doordat het algoritme dit oppakte en de data verwerkte gaf bol.com vrijwel gelijk ‘Whitney Housten’ als suggestie bij het intypen van de letter ‘w’.

Extra functionaliteiten

Toen de basis eenmaal stond zijn er extra functionaliteiten aan de suggesties toegevoegd. Zo worden (o.b.v. koopdata) ook categorieën voorgesteld aan zoekers, door bijvoorbeeld ‘Whitney Houston in Muziek’ als ‘Whitney Houston in DVD’ te serveren. Ook worden spelfouten herkend en de correcte spelling geserveerd.

A/B-testen

Continu A/B-testen is ook van belang voor bol.com. In plaats van alleen te testen op de vorm wordt er bij bol.com vooral veel getest op inhoud. Bol.com maakt hierbij gebruik van hun eigen tools. De A/B-tests worden hiermee dan ook niet met Javascipt technisch geregeld, maar de varianten worden ‘serverside’ geserveerd.

Op dit moment wordt ook veel getest in de interne zoekmachine. Bijvoorbeeld met een andere sortering van de zoekresultaten, maar ook welke velden gebruikt worden om een product op te matchen. Zo is bijvoorbeeld Justin Timberlake zowel zanger als acteur. Als zanger bleek hij echter relevanter te zijn. Zijn cd’s hoger in de zoekresultaten tonen dan de dvd’s leverde dus een hogere conversie op.

What’s next?

Het verbeteren van de website is een continu proces. De tot nu toe genomen stappen hebben een hogere conversie vanuit zoeken opgeleverd. Bol.com zal dus, aldus Basjes, steeds meer gecontroleerd proefballonnetjes oplaten. Zo zal er bijvoorbeeld getest worden het meenemen van gebruikersinformatie zoals eerdere aankopen, eerdere interesse/desinteresse in een product/productgroep, of dat iemand eerder een beoordeling heeft gegeven over het betreffende product, de productgroep, auteur, artiest, etc.

Ook wordt er gekeken naar de mogelijkheid om de categoriepagina’s, die nu nog handmatig gevuld worden, gedeeltelijk te automatiseren.

Terugblik

Ik kijk terug op een zeer interessant Webanalytics Congres. Waren het een aantal jaren geleden vooral de kleinere e-commerce organisaties die flexibel genoeg waren om te testen, nu lijkt het tij gekeerd te zijn. Webanalytics professionaliseert rap verder. Grote Nederlande e-commerce-organisaties slagen er steeds beter in de juiste mensen aan boord te halen en de juiste kennis aan te sluiten.

Webanalisten kunnen vandaag de dag, mede door betere practices en tools, steeds beter de data vertalen naar inzichten, kennis en verbeterpunten. Door deze betere vertaling slagen zij er steeds beter in (kwantitatief en kwalitatief) goed onderbouwde businesscases te maken. Dit leidt tot steeds meer draagvlak voor deze activiteiten en maakt dat “het beter laten aansluiten van de e-commerceactiviteiten op de doelgroep” voor online marketingafdelingen steeds meer een kernactiviteit wordt.

Dit houdt automatisch in dat organisaties die dit niet op de agenda hebben staan de boot dreigen te missen. Deze organisaties zullen op termijn worden ingehaald door organisaties die dit wel structureel op de agenda hebben staan. Dit zal zich bijvoorbeeld uiten in het achterblijven van conversiepercentages waardoor verkopen achterblijven, of het feit dat er steeds meer bezoekers (steeds duurder) moeten worden ingekocht.