Hoe betrouwbaar zijn websitestatistieken?

Hoe betrouwbaar zijn websitestatistieken?
, -
@martijnstaal

Gedetailleerde en betrouwbare statistieken zijn onmisbaar om het bezoek en de performance van een website te meten en de effectiviteit van marketing campagnes te kunnen versterken. Hiervoor gebruiken veel organisaties Sitestat of Google Analytics voor hun website en veel advertentie-netwerken DART. Maar wat doe je als je bijvoorbeeld een bannercampagne opzet waarbij verschillen tussen de metingen van het advertentie-netwerk en je eigen analytics-pakketten enorm verschillen?

Na analyse van de website statistieken van een webshop van een van onze klanten merkten we dat er nogal verschillen zijn tussen de metingen van verschillende pakketten (Google Analytics, DART en een standaard website statistieken script). Een banner campagne zou volgens de metingen van de website uitgever vaak vele kliks meer opgeleverd hebben dan de statistieken van de webshop zelf. Daarnaast kwam de ‘kliktrend’ vaak niet overeen tussen beide pakketten: de ene keer werden er bij DART bijv. enorm veel meer kliks getraceerd dan bij Google Analytics, en op andere dagen was het aantal kliks bij Google Analytics weer veel hoger dan bij DART. Deze verschillen waren ook niet zoals de eerder beschreven verschillen tussen web analytics pakketten van enkele, maar tientallen procenten. Na een korte zoektocht blijkt dat we niet de enigen zijn die dit ervaren.

Ik ben benieuwd welke verklaringen voor deze verschillen aan zijn te wijzen (zoals verkeerde implementatie van web analytics pakketten). Herkennen jullie dit probleem? Speelt dit bijvoorbeeld bij jullie klanten?  En in hoeverre is er inzicht in de kwaliteit van de web analytics pakketten en de onderlinge verschillen?


Delen

0
0


Er zijn 23 reacties op dit artikel

  • Lijkt me een typische vraag voor de webstatistici onder ons; Daniel of Matthijs, kunnen jullie hier iets op zeggen?

    Zelf hanteer(de) ik overigens 10-procent als acceptabele grens. Verschillen houd je namelijk altijd.

    geplaatst op
  • Ik ken een instituut die hier onderzoek naar zou kunnen doen... ;)

    Verder zijn onze ervaringen als webstatistici met Google Analytics goed te noemen. We werken ook veelvuldig met Dart en zien daar nagenoeg geen verschillen. Een klik gaat via Adwords of een banner naar Dart, en dan weer door naar GA. Lijkt me eerder een kwestie van een slechte implementatie van GA dat deze grote verschillen ontstaan. Alleen al het feit dat GA meer dan Dart zou meten is haast onmogelijk aangezien alle kliks via Dart naar GA gaan.

    Daarnaast zijn constante afwijkingen niet erg. Als de verschillen bijvoorbeeld constant 10-15% zijn is het pakket nog steeds goed te gebruiken voor trendanalyse.

    geplaatst op
  • Herkennen jullie dit probleem? Speelt dit bijvoorbeeld bij jullie klanten? En in hoeverre is er inzicht in de kwaliteit van de web analytics pakketten en de onderlinge verschillen?


    Bij een juiste implementatie zijn discrepanties tussen verschillende databronnen altijd te verklaren. In feite vergelijk je vaak appels met peren. De belangrijkste oorzaak die hierbij een rol speelt is:

    * Afhakers tussen moment van klikken en het moment dat de pagina geladen is.
    1. Ik klik op een Google Adword
    2. Google meet de klik
    3. De link wordt geopend en de website geladen
    4. De reactie op de Adword wordt gemeten in het web analytics pakket
    Tussen moment 2 en 4 valt bij Adwords normaal gesproken 15% tot 20% af.

    Dit probleem kan veel groter zijn bij Dart, omdat (afhankelijk van de banner en de plaats daarvan) in bepaalde gevallen de kans groter is dat iemand per ongeluk reageert op de banner en nog sneller afhaakt.

    Andere factoren die mee kunnen wegen:
    * Verschillen in cookie acceptance van de cookies van verschillende pakketten, waardoor verschillen kunnen optreden in het aantal herhaalkliks of het aantal 'unieke kliks'.
    * Indexering van banner link URLs in Google, zodat in het web analytics pakket een reactie wordt gemeten voor de banner, terwijl de bezoeker in feite via een natuurlijk zoekresultaat in Google binnenkomt. (dit probleem is te voorkomen)
    * Implementatiefouten: broken links, zeer trage redirects, fouten in de tracking code, etc.

    Daarnaast kwam de ‘kliktrend’ vaak niet overeen tussen beide pakketten: de ene keer werden er bij DART bijv. enorm veel meer kliks getraceerd dan bij Google Analytics, en op andere dagen was het aantal kliks bij Google Analytics weer veel hoger dan bij DART.


    In feite moet de kliktrend wel overeen komen. Als de kliktrend niet overeen komt, dan moet er ergens een fout gemaakt zijn.

    geplaatst op
  • @Koen, ik heb nu van een viertal klanten de Adwords gegevens naast de metingen van Google Analytics gelegd en kom niet hoger dan een 5% afwijking. Die 15 tot 20% lijkt me dan ook zeker aan de hoge kant, of zijn hier uitgebreidere onderzoeken naar geweest?

    geplaatst op
  • @ André: dit is ook een van de redenen voor dit artikel. Mocht dit bij veel bedrijven spelen, dan kan dit voor ons een reden zijn om hier verder onderzoek naar te doen.

    @ Koen: zijn bedrijven zich hier ook bewust van als zij een website statistieken pakket kiezen? In dit geval werden de statistieken van verschillende pakketten vergeleken, maar volgens mij gebruiken veel bedrijven 1 pakket voor hun website analyse.

    En zijn er bijv. standaarden voor de metingen waaraan alle pakketten voldoen?

    geplaatst op
  • @André: inderdaad, het ligt meer in de richting van 5%-10% als ik er meer data bij neem.
    De 15%-20% die ik noemde waren gebaseerd op gegevens van enkele klanten, waarbij pas op een laat moment gemeten wordt.

    @Martijn: bedrijven zijn zich hier denk ik niet bewust van op het moment dat ze voor een pakket kiezen. Het verklaren van verschillen vormt bij ons in elk geval wél een integraal onderdeel van een web analytics implementatie. Als dat niet gebeurt, is het risico groot dat het vertrouwen in de data wegvalt, waardoor web analytics activieiten binnen het bedrijf stilvallen.

    De Web Analytics Assocation (WAA) is een organisatie die in het leven is geroepen om standaarden te definiëren voor bijvoorbeeld visits, pageviews, bezoekers, etc. Zie ook de WAA Web Analytics Definitions PDF

    geplaatst op
  • Het merendeel van de oorzaken is al door André en collega Koen gegeven. Daarnaast blijkt in de praktijk vaak dat klanten bij voorkeur kijken naar het netto resultaat, dat wil zeggen, bezoekers die ook daadwerkelijk een bezoek aan de site hebben gebracht. In dat geval geven de cijfers van een web analytics pakket vaak een nauwkeuriger benadering, o.a. door het gebruik van first party cookies. Over het verwijderen van cookies en de effecten daarvan is door Koen al eerder een posting gemaakt.

    Vergelijken van cijfers blijft een riskante aangelegenheid, omdat je het risico loopt om appels met peren te gaan vergelijken. Tijdens de implementatie voeren wij vaak een aanvullend onderzoek uit om de betrouwbaarheid van de verzamelde cijfers te bepalen. Op die manier kan je vrij nauwkeurig aangeven hoe betrouwbaar de verzamelde cijfers zijn en wat bijv. de standaardafwijking is. Ook is dit een goede methode om te controleren of de trends van verschillende systemen wel overeenkomen.

    Dus de moraal van dit verhaal. Verschillen zullen er altijd zijn, maar door (vooraf) deze duidelijk in kaart te brengen, de belangrijkste oorzaken te identificeren en dit in de rapportage mee te nemen, kan de impact hiervan zoveel mogelijk worden geminimaliseerd.

    geplaatst op
  • Ja het is een probleem waar ik dagelijks mee te maken heb. Ons bureau beschikt over veel digitale kennis. Dit is aan de ene kant fijn, maar aan de andere kant merken wij heel vaak op dat wij andere dingen meten als de 'anderen'. Met alle gevolgen van dien (felle discussies etc.). En dan hebben we het zowel over meetverschillen bij banner campagnes als directmail acties door mailbrokers. Ik persoonlijk steek deze verschillen – omwille van het belang van onze klant – nooit onder stoelen of banken. Ik vind het zelfs mijn verantwoordelijkheid om de partijen - die de resultaten aan ons doorgeven - bij de les te houden.

    Technisch gezien is dit eigenlijk pure onzin, want ik geloof er nog steeds in dat het systeem sluitend gemaakt zou moeten kunnen worden. Tot die tijd... ...slapen doen we ‘s nachts!

    geplaatst op
  • Technisch gezien is dit eigenlijk pure onzin, want ik geloof er nog steeds in dat het systeem sluitend gemaakt zou moeten kunnen worden...


    Als je zover bent, dan hoor ik het graag ;-) Ik houd me van harte aanbevolen voor een beta-test...

    geplaatst op
  • Als ik tegen die tijd nog niet met pensioen ben zou ik ook zeker graag meedoen.

    geplaatst op
  • Verschillen treden niet alleen op bij statistiekenpakketten, maar ook al bij trafficsystemen. Niet zelden leveren sites bij campagnes standaard bijvoorbeeld 10% extra verkeer om dit verschil alvast te compenseren.

    geplaatst op
  • Vanuit het mediabureau constateren wij ook vaak verschillen tussen Dart en pakketten van klanten. Ik herken me in de redenaties van Matthijs en Koen. Wij hanteren als acceptabel meetverschil ook ca. 5%. Komt eigenlijk alleen met livestat voor. Voordat een Dart klik uiteindelijk op de site beland is de kans op uitval al groter.
    Ik geloof niet/nooit dat systemen die "achter elkaar" werken, exact hetzelfde kunnen meten.
    5%

    geplaatst op
  • Daarnaast is er een gebruikersgroep die onzichtbaar is voor bepaalde webstatters; Firefox gebruikers met een AdBlock plugin laden geen banners en komen dus niet naar voren in de statistieken.

    Afhankelijk van het soort website kan deze gebruikersgroep groter en kleiner zijn, misschien is het een interessant onderzoek om deze verschillen eens te meten. Misschien dat dit juist voor een belangrijk deel de discrepantie in de verschillende statistieken veroorzaakt.

    geplaatst op
  • @Sander: deze posting ging over de discrepantie tussen het aantal kliks dat dat gemeld wordt Dart vs. Google Analytics.

    Met AdBlock wordt de banner niet geladen,
    dus er wordt ook niet geklikt,
    dus de kliks worden helemaal niet gemeten (door geen enkel pakket)

    De discrepantie in aantal kliks kan dus onmogelijk door AdBlock veroorzaakt zijn.

    (Discrepanties in aantal views is in theorie mogelijk, maar het aantal views van een externe banner meet je meestal toch niet in je eigen Google Analytics.)

    geplaatst op
  • Goed om te zien dat er intern onderzoek wordt gedaan naar de verschillen in metingen en klanten regelmatig op de hoogte worden gesteld van de verschillen tussen de analytics pakketten zodra analytics worden geimplementeerd. Ik denk inderdaad ook dat het belangrijk is vooraf open kaart te spelen en klanten hier inzicht in te geven, zodat ze er achteraf niet zelf achter hoeven te komen.

    Het wordt me in ieder geval duidelijk dat verklaringen in de verschillen afhangen van een groot aantal factoren en meetgegevens van verschillende pakketten niet eenvoudig 1:1 met elkaar vergeleken kunnen worden en behoorlijk wat discussie kunnen opleveren.

    Ik ben benieuwd of Daniel nog extra aanvullingen heeft?

    We zijn bij TNO inderdaad bezig om te kijken of we bedrijven kunnen ondersteunen d.m.v. onderzoek. Zijn er wat jullie betreft naast bovengenoemde punten nog gebieden waar onderzoek zou kunnen helpen om meer inzicht in o.a. verschillen in statistieken (of gerelateerde onderwerpen) te krijgen?

    geplaatst op
  • Ik sluit me helemaal aan bij Koen en Matthijs.

    Aanvullend kan ik nog stellen dat cookies en robots vaak de oorzaak zijn van de verschillen.

    Bij cookies maakt het veel uit hoe een website zijn cookies serveert. Zijn ze first party, third party, door de server geleverd of via een script? Al deze zaken kunnen dramatische invloed hebben op meetresultaten. Soms zijn ze niet te overzien bij een audit waardoor meetverschillen onverklaard blijven.

    Robots kunnen ook invloed hebben. Steeds meer robots manifesteren zich als browsers en openen javascripts. Hierdoor lijken ze op gewone bezoekers en komen ze alszodanig voor in de statistieken. Het komen en gaan van robots is natuurlijk zeer onregelmatig.

    Toch ben ik het met Koen eens. Als een implementatie goed is uitgevoerd en alle facetten van een systeemarchitectuur bekend zijn, dan moeten verschillen verklaarbaar zijn.

    geplaatst op
  • Het ligt niet zo simpel en het is een oud probleem dat veel naar voren kwam in 2005 toen GA net werd geintroduceerd. Ten eerste is er een fundamenteel probleem met Javascript (JS) analytics programs (en ik kende sitestat niet eens maar ik zie dat ook zij JS gedreven zijn ?) en logfiles. De verschillen zijn in het algemeen 20-30 %. Als voorbeeld (maar zo zijn er vele) check de test die Michael Martinez deed gedurende een jaar in 2006: http://www.seomoz.org/blog/how-reliable-is-google-analytics

    In mijn tijd in Silicon Valley tot augustus vorig jaar hoorde ik veel negatieve verhalen over Google's overname van Urchin (toen nog veruit het meest gerespecteerde analytics programma ). De Urchin guys waren absoluut niet blij met hoe Google de software heeft aangepast voor de gratis GA.

    Er worden vele redenen gegeven vanwaar de verschillen en sommigen zijn hierin al genoemd. Ik denk persoonlijk dat de verschillen in cookies, en javascritp switched on/off niet een erg groot effect hebben. In tegenstelling tot wat soms beweerd heeft maximaal 5-10 % cookies uitstaan en een kleiner percentage (5 %) javascript. Dan nog.. GA werkt met first-party cookies (dus het lijkt of de GA cookie eigenlijk van jouw website komt) en dan zakt die 5-10 % nog wel flink omdat deze vooral slaat op 3rd party cookies (geidentificeerd als komende van een andere partij dan de website waar je op bent).

    Bots doen zich voor als users, hetgeen log files weer misleidt, en een GA cookie kan aan de bodem van de pagina staan... dat betekent dat de pagina volledig geladen moet worden voor het gemeten wordt, terwijl log files dat vaak niet doen.. etc etc etc.

    Maar de verschillen hoe de resultaten gemeten en berekend worden, de interpolaties die gebruikt worden, ZELFS TUSSEN JS-BASED programma's onderling zijn een veel belangrijkere reden voor de verschillende resultaten. Om verschillende pakketten te vergelijken is in MIJN optiek totaal zinloos tenzij je een statistisch voldoende grote groep hebt.. en bekend volume, gedrag etc etc.. anders is het altijd een case studie die wel of niet op jouw situatie van toepassing is.

    Over Google Adwords: ook dit is al een jarenlang bekend probleem, en voor zover ik weet nooit echt goed beantwoord. Het is wel heel toevallig dat als advertizer de hoeveelheid clicks dat gemeten wordt groter is dan als webmaster waarop de ad. loopt.. guess who benefits :-)

    Anyway... veel amerikaanse sites/discussie groepen hebben hier in 2005 en 2006 al onderzoek naar gedaan.. en ik heb op bovengenoemde systematische studie van Martinez, nog vrij weinig coherente verklaringen gezien.

    Wij gebruiken op dit moment 3 pakketen (we zijn nog een kleine website zonder inkomen!): GA, AWStats en Clicktracks.. en er zijn inderdaad vaak verschillen van 30 %. Aan de andere kant de trends komen vaak redelijk overeen.. ook percentagegewijs. Voor een andere website is dit weer heel anders vaak, vandaar dat een studie weinig zin heeft als deze zich richt op de data zonder een verklaring te kunnen geven waarin onderliggende algorithmen verschillen in hun interpretaties van de data.

    geplaatst op
  • Het ligt niet zo simpel en...

    Ik ben het er helemaal mee eens dat er veel factoren meespelen in discrepanties tussen web analytics pakketten. En ik wil zeker niet beweren dat het wél heel simpel ligt.

    Maar in de case die Martijn schetst, gaat het specifiek om verschillen in kliks tussen Dart en Google Analytics.

    Dan geldt eigenlijk geen enkele reden die je noemt:

    - log-file vs tag-based oplossing: beide pakketten zijn tag-based
    - cookie acceptance rates: we hebben het over kliks, dus cookies spelen geen rol
    - JavaScript disabled: in dat geval meten beide pakketten niets en treedt er geen discrepantie op

    Wat er als mogelijke oorzaken overblijft, heb ik beschreven in mijn eerste reactie (en daarbij kunnen ook bots een rol spelen, zoals Daniel al aangaf)

    In tegenstelling tot wat soms beweerd heeft maximaal 5-10 % cookies uitstaan en een kleiner percentage (5 %) javascript.

    Op basis van de 150 websites die we analyseren, komt het percentage dat JavaScript uit heeft staan neer op slechts 0,5%.

    geplaatst op
  • @Patrick

    Je gooit nu in één reactie een enorme hoeveelheid aannames en stellingen op tafel, maar ik vraag me af of je de post en de onderstaande reacties ook echt hebt gelezen. De link die je noemt (how reliable is Google Analytics), haalt Martijn al aan in zijn post.

    Ten eerste is er een fundamenteel probleem met Javascript (JS) analytics programs (en ik kende sitestat niet eens maar ik zie dat ook zij JS gedreven zijn ?) en logfiles.

    Niemand ontkent dat er een verschil is tussen logfile en Javascript gebaseerde oplossingen.

    In mijn tijd in Silicon Valley tot augustus vorig jaar hoorde ik veel negatieve verhalen over Google's overname van Urchin (toen nog veruit het meest gerespecteerde analytics programma ). De Urchin guys waren absoluut niet blij met hoe Google de software heeft aangepast voor de gratis GA.

    Persoonlijk denk ik dat de overname door Google de redding van Urchin is geweest. De marktonderzoeken die ik ken (o.a. Gartner, Jupiter Research en CMS Watch) waren ook jaren geleden al niet echt positief over Urchin. Google heeft op basis van Urchin een veel gebruikersvriendelijker product neergezet.
    Ik denk persoonlijk dat de verschillen in cookies, en javascritp switched on/off niet een erg groot effect hebben. In tegenstelling tot wat soms beweerd heeft maximaal 5-10 % cookies uitstaan en een kleiner percentage (5 %) javascript.

    De verschillen in cookies hebben best een aardig effect, zoals ook hier wordt beschreven. Voor Marketingfacts betekent het bijv. dat het werkelijke aantal unieke bezoekers 13% lager ligt, zelfs met het gebruik van first party cookies.

    Anyway... veel amerikaanse sites/discussie groepen hebben hier in 2005 en 2006 al onderzoek naar gedaan.. en ik heb op bovengenoemde systematische studie van Martinez, nog vrij weinig coherente verklaringen gezien.

    Als aanvulling op het onderzoek van Martinez is hier ook een coherente verklaring te vinden.

    Het is wel heel toevallig dat als advertizer de hoeveelheid clicks dat gemeten wordt groter is dan als webmaster waarop de ad. loopt.. guess who benefits :-)

    Redenen voor dit verschil worden in de reacties al aangegeven. Google zou zichzelf wel erg diep in de vingers snijden als ze actief het aantal kliks bijwerken ;-) Daarnaast laten andere pakketten dan Google Analytics dezelfde verschillen zien met bijv. DoubleClick cijfers.

    geplaatst op
  • Het gaat uiteindelijk om de klant. Die heeft een winkel en hij heeft uitgerekend dat hij 100 bezoekers nodig heeft om 1 product te verkopen. Daar maakt hij een marge op, waardoor hij bedrag x kan uitgeven per bezoeker. Een simpel rekensommetje.

    Dat bedrag besteed hij aan een online campagne, waarbij hij er van uit gaat dat hij bedrag x kwijt is aan 100 bezoekers. Echter, door de verschillen krijgt hij voor bedrag x niet 100 bezoekers maar 75. Dus kan hij niet uit...

    uit een project dat ik net gedaan heb, zijn de verschillen bijna 100%, in het nadeel van de adverteerder. Wie goed zit en wie fout is erg lastig te herleiden. ik zou het erg goed vinden als er 1 onafhankelijke meetstandaard komt...

    wie biedt?

    geplaatst op
  • @ Patrick: ik ben nog wel benieuwd naar de onderzoeken die je aanhaalt van amerikaanse sites/discussie groepen, kun je een paar concrete studies noemen?

    geplaatst op
  • We zijn inmiddels een maand verder en bezig een project op te starten om de verschillen in pakketten voor statistieken inzichtelijk te maken.
    Als jullie interesse hebben, laat het me weten via martijn.staal [at] tno.nl

    geplaatst op
  • Zie ook het artikel van Peter W. over o.a. het MIA project, wat tot doel heeft om online measurement methodes en terminologie te standaardiseren. Dit zou m.i. moeten helpen om de verschillen in statistieken kleiner & transparanter te maken.

    geplaatst op

Plaats zelf een reactie

Log in zodat je (in het vervolg) nóg sneller kunt reageren

Vul jouw naam in.
Vul jouw e-mailadres in. Vul een geldig e-mailadres in.
Vul jouw reactie in.

Herhaal de tekens die je ziet in de afbeelding hieronder


Let op: je reactie blijft voor altijd staan. We verwijderen deze dus later niet als je op zoek bent naar een nieuwe werkgever (of schoonmoeder). Reacties die beledigend zijn of zelfpromotioneel daarentegen, verwijderen we maar al te graag. Door te reageren ga je akkoord met onze voorwaarden.