Multiscope in de war?

Hey Marco het is niet volgens Dutchcowboys maar volgens Multiscan ;-) heh. Verder kan ik het ook niet helpen dat wij in metingen telkens naar boven komen drijven, hoe graag sommigen dat liever anders zouden zien.

Wij beschouwen iedereen als blogmates. Wat overigens wel opvalt is dat het vooral de shockblogs zijn die hoog scoren. En om eerlijk te zijn ik had Mediafact ook wel hoger verwacht maar natuurlijk wel onder ons ;-))

zie ook de korte reactie van Multiscope: http://www.dutchcowboys.nl/onderzoek/5031

In de war? Een inzinking nabij zou ik zeggen. Het leuke - en het pijnlijke voor Multiscope - is dat een aantal van de blogs zelf met statistieken komen die gehakt maken van de genoemde rangschikking

- Retecool heeft 200.000 unieke bezoekers en 10 miljoen (!) pageviews per maand, aldus Adfactor.

- Volgens WebAds heeft DutchCowboys 25.000 unieke bezoekers en 515.000 impressies per maand (2 bannerviews per pagina, dus zo'n 250.000 pageviews)

- Jaggle.nl had volgens Onestat 445.705 unieke bezoekers en 2,6 miljoen pageviews in september

- Bicat.net heeft een Nedstat-teller op zijn site staan die maandelijks op ca 40.000 pageviews zit. Deel dat gerust door 2-3 om het unieke aantal te krijgen.

- Badmutsen.nl had volgens Onestat 121.076 unieke bezoekers in september maar staat 1 positie boven Bicat.net

- Cobusnet heeft ca. 20.000 unieke bezoekers per maand, blijkens z'n statistieken.

Marketingfacts heeft zo'n 57.000 unieke bezoekers per maand

Wie legt dit in vredesnaam uit? Dit kun je onmogelijk nog verdedigen onder het mom van "foutmarge". Deze ranglijst zit er niet een beetje naast, maar slaat de plank echt grandioos mis. Mijn vertrouwen in de Multiscope-methode is hiermee ook in een klap weg. En da's even slikken want ondanks eerdere kanttekeningen die ik wel eens bij ze geplaatst hebt, kende ik het als een reputabel bureau.

Ik heb heel sterk de indruk dat Visiscan een veel te kleine steekproefpopulatie (of hoe heet dat officieel) heeft die mogelijk ook nog eens niet representatief is. Ze meten op basis van een panel van 1500 internetgebruikers, zie ik op hun site. Ik ga daar toch echt steeds meer vraagtekens bij zetten. Is dat aantal statistisch groot genoeg? Hoe zijn ze uitgekozen? Zijn het niet vaker de whizzkids die akkoord gaan met de software terwijl Tante Mien uit Assen die niet eens weet hoe ze het moet installeren dus maar van deelname afziet?

Om dit te extrapoleren naar STIR: die werkt met een panel van 5000 deelnemers, die echter niet allemaal meedoen, zo begrijp ik uit de tekst. Als Multiscope er met een panel van 1500 finaal naast kleunt, hoe betrouwbaar is dan het STIR-panel dat er misschien qua grootte niet eens zoveel van afwijkt?

Aha. Mijnkopthee.nl heeft dus meer unieke bezoekers dan retecool.com. Ik wist wel dat reet de hele dag zit te F5'en!

Ik vrees dat je gelijk hebt Anders. Cobusnet.web-log.nl staat hier in de top-20 terwijl het in de eigen metingen van web-log.nl niet eens in de top-50 staat. Met andere woorden, er zijn zeker nog 50 web-logs die meer bezoekers krijgen. Venturo, Mediakrant, TVFormats, Meisjevandeslijterij om er maar eens een paar te noemen.

haha, dat multiscope toch

Ik heb tenminste weer eens ouderwets gelachen.

@ Anders: kleine correctie en verder ook niet relevant voor de discussie hier. STIR-panel is 4.000 groot. De 5.000 die jij noemt zijn van de Establishment Survey, één van de aanhangonderzoeken van STIR.

Excuus, mijn fout. Ik had inderdaad naar de Establishment Survey gekeken.

Er is natuurlijk ook wel een verschil bedenk ik me: Met een populatie van 9,5 miljoen internetters staat 1 panellid bij STIR voor 2.400 internetters, bij Multiscope voor 6.300 internetters. STIR meet bovendien alleen de aangesloten domeinen waarbij het gaat om vele miljoenen pageviews per maand, terwijl Multiscope nu een lijst uitbrengt waarbij het gaat om de orde van grootte van een paar duizend pageviews per dag.

Is dat vragen om problemen? Blijkbaar wel. Ik ben mijn colleges statistiek even kwijt, wellicht dat een wiskundig genie kan zeggen tot welke bezoekersaantallen een panel van 1500 op een populatie van 9,5 miljoen nog representatief zou kunnen zijn?

op zich kan een panel van 1.500 representatief zijn als geheel. kijk je naar de losse titels dan is de grootte van zo'n titel in relatie tot het panel van belang. STIR staat geen titels toe die kleiner zijn dan 65.000 unieke browsers per maand. daaronder worden de waarnemingen onbetrouwbaar. pas als het panel naar 8.000 gaat (loop 2006/2007) kunnen de kleinere webistes toetreden met zo'n 33.000 unieke browsers per maand.

"Weblognetwerken als web-log.nl worden in hetzelfde lijstje geplaatst als de individuele web-logs!? Een forum als fok.nl wordt wel meegenomen maar een forum als tweakers.nl niet!? En sinds wanneer is radio.nl een weblog?..."

Ben het hier hemelaal mee eens. Appels met peren vergelijken. Daarnaast wordt dit onderzoek eigenlijk al geheel ontkracht door een simpele webstat/onestat tellers op de verschillende sites!

Multiscope zit er wel vaker naast. Ik houd altijd bij hoe de vacaturesites en de kranten in de lijst staan. Daar zitten regelmatig onverklaarbaar grote schommelingen (in de orde van verdubbelingen en halveringen) in en ook zijn cijfers binnen categorieën soms anders dan in de top 100. Ik heb ze daar wel eens op aangesproken en krijg dan een verhaal over steekproef marges. Toen ik hen voorrekende dat de schommelingen significant waren hoorde ik niets meer.

Interessante discussie waarbij metingen op basis van steekproeven achterhaald worden op basis van actuele metingen. Dit werpt ook een vraag op of je inderdaad internetbereiksonderzoek moet doen op basis van steekproeven of dat je er op de een of andere manier toch actuele bereiksmetingen in moet betrekken. Voor zover ik weet is dit ook een vraag geweet die de STIR heeft beziggehouden. Wellicht kan iemand antwoord geven op de vraag waarom er gekozen wordt voor deze methode? Wat mij betreft vrij kwetsbaar omdat elke site die zich benadeeld voelt in het STIR onderzoek zijn eigen metingen zal gebruiken om zijn gelijk te halen. Lastige situatie maar wel een interessante.

Hm, zonder dit artikel nog gelezen te hebben zette ik vanmiddag ongeveer al dezelfde vraagtekens.
Cobusnet.web-log.nl is overigens wél terug te vinden in de top 50, en wel op plaats 19. Ik geloof dat het gewoon een waardeloos onderzoek is.

ik voel een wie heeft de grootste reloaded aankomen..

een voordeel van steekproeven is dat je op persoonsniveau een groot aantal kenmerken kan verzamelen. dat kan niet met 'tellers'. het tweede voordeel is dat je netto bereik over sites heen kan berekenen. ook de term unieke bezoekers krijgt een andere dimensie als je het over mensen hebt in plaats van machines of IP-adressen.

ik (er)ken de tekortkomingen van een steekproefmeting, maar die wegen niet op tegen de nadelen van enkelvoudige metingen van alle losse sites. daar kan je als planner/adverteerder niet zoveel mee.

Wat een goede lijst! Klopt als een bus.

Top 50 Nederlandse weblogs volgens Alexa.com wereldranglijst (03-10-2005):
http://www.pcplein.nl

In Rene's lijstje staan we op 6 !
Maar hadden we ook niet onze twijfels over Alexa? ;-)

Overigens wel gewaagd/gedurft van Multiscope, deze cijfers. Je kan op je vingers natellen dat je onderuit gehaald gaat worden. Wellicht is deze viral ook wel de bedoeling geweest. Kan niet echt een ander motief bedenken voor het uitgeven van een dergelijk persbericht over een wereld van de meest kritische mensen (lees webloggers) die er bestaan.

@peter. Zouden dit soort steekproefmetingen dan niet gecorrigeerd kunnen worden door een (onafhankelijke) bereiksmeting op basis van werkelijke aantallen? De steekproef voor de demografische gegevens welke afgezet kan worden tegen een werkelijk gemeten bereikscijfer? Een combinatie van beiden lijkt me dit soort discussies de kop in te drukken. De meetbaarheid van interactieve media zal onherroepelijk voor dit soort discussies blijven zorgen als we te eenzijdig blijven meten en niet dit soort cijfers proberen te betrekken in een cijfer welke voor alle partijen bevredigend is.

@Klaas: het is niet mijn gewoonte om te reageren op 'anonieme' commentatoren, maar het antwoord op jouw vraag kan wellicht interessant zijn in deze discussie.

correcties op steekproefmetingen worden gedaan m.b.v. wegingen die onderdeel zijn van de extrapolaties naar het totaal van het universum. bij het STIR-onderzoek is de Establishment Survey een belangrijke graadmeter voor die wegingen en uberhaupt de samenstelling van het panel. het is een soort ijkonderzoek voor het panel. een meting als STIR of Multiscope is per definitie eenzijdig, of beter gesteld: uniform over de sites heen.

pas als je overeenstemming hebt over de wijze van meten, wegen en extrapoleren is er sprake van een algemeen geaccepteerd meetinstrument. die acceptatie komt niet vanuit de initiatiefnemers van een onderzoek, maar vanuit de gebruikers van de data. blijkbaar is daar vandaag iets mis gegeaan, gezien de discussie hier en op andere plekken.

Remi: De Alexa-ranking is in voorkomende gevallen wel te gebruiken; zie ook betrouwbaarheid alexa. Of de lijst van Rene nu helemaal waterdicht is betwijfel ik. Wel leuk om te zien wat de waarde is van Marketingfacts. Zal Paul eens bellen dat we de waardebepaling van Marketingfacts nog eens kritisch moeten herzien ;-)

Geen reactie nog van Multiscope?

Ik hoop dat je gelijk hebt Marco!

Tja, er zijn duidelijk een paar fouten gemaakt door weblognetwerken en weblogs te vergelijken. Echter zijn er niet heel veel hele betrouwbare bereiksmetingen op het internet. STIR en Visiescan zijn zo ongeveer de enige twee serieuze in Nederland, waarbij ik vrees dat Visiescan de plank hier wel een beetje mis slaat.

En waar is punt.nl trouwens in dit overzicht? Ik ken hun exacte cijfers niet maar met tienduizenden weblogs zullen ze ongetwijfeld een uniek bereik van vele honderdduizenden hebben. Als netwerk weliswaar, maar goed, dat is spaces.msn en web-log ook in het genoemde rijtje.

Is een weblog uit Nederland alleen een weblog uit Nederland als het ook in het Nederlands geschreven wordt of niet? Want dan ken ik er ook nog wel een paar...

hehehe

@attu

Jaaa!

Even inhakend op Anders Floor:

Nedstat is inmiddels (lag al langer in de planning) verbannen. Awstats laat andere resultaten zien.