Buzzmonitoring? Cut the crap!

Steven Jongeneel,

@stevenjongeneel 4 september 2012

Met de verkiezingen zie je ze weer links en rechts verschijnen, de analyses van online berichten over de politieke partijen. Tijdens het debat, en in de nabeschouwingen. Angstwekkende cijfers over het aantal tweets over een politicus, het aantal followers of het sentiment van online discussies. Het valt mij op dat online-buzzmonitoring door de traditionele media vaak worden gepositioneerd als harde onderzoeksresultaten, of zelfs als vox populi, de stem van het volk. Onzin natuurlijk. Er zijn namelijk drie zaken die in ogenschouw genomen dienen te worden door de media bij het gebruik van monitoringdata.

Niet de stem van Nederland

Voor online buzz analyses wordt gebruikgemaakt van monitoringsoftware. Deze software crawlt het internet af naar keywords. Het is een illusie om te denken dat deze tools een compleet beeld kunnen geven van alles wat op internet gezegd wordt. Niet alleen kunnen er websites ontbreken, berichten die door gebruikers worden geplaatst op een afgeschermde pagina kunnen ook niet worden weergegeven. Denk hierbij aan een afgeschermd account op Facebook of Twitter of een forum waarop je moet inloggen. Berichten uit online monitoring zijn daarmee nooit volledig representatief voor de mening van de hele populatie.

Sentimentmeting is een aanname

Monitoring tools geven een label aan online berichten. Dit kan positief, negatief of neutraal zijn. Maar wat gebeurt er als iemand met sarcasme ‘Lekker bezig, Mark’ tweet? Wordt dit als positief of negatief gemeten? Belangrijk is ook dat een groot deel van online berichten over een merk of onderwerp in de praktijk komt uit bronnen zoals nieuwssites. Als het aandeel van dit soort berichten groot is op het totaal, dan kan er een vertekend beeld ontstaan.

Kijken naar aandachtstrekkers

Wellicht de grootste fout die wordt gemaakt bij analyses van online buzz, is de interpretatie die wordt gegeven aan berichten. Let wel: berichten waarvan de verzenders zich -anders dan nog wel eens wordt gedacht- erg bewust zijn en zelfs hopen dat ze worden opgepikt. Ze zoeken er de aandacht mee.

Een bekend voorbeeld zijn de commercials van Tineke Schouten van C1000. Op social media werd de campagne veelvuldig afgekraakt door voornamelijk jongeren, een gedrag dat vaker voorkomt. Op basis hiervan zou je denken dat de retailer snel zou moeten stoppen. Doelgroeponderzoek laat echter zien dat de campagne gewaardeerd wordt en haar werk doet. Waarom zien we dat dan niet terug in monitoring data? Niet omdat de doelgroep niet actief is op online- en social media. Wellicht zijn ze online bijvoorbeeld actief rondom onderwerpen zoals puberende kinderen of vakantie. Het punt is dat men klaarblijkelijk niet de behoefte heeft om via social media te delen dat men de commercial met Tineke leukt vindt.

Duiding, duiding, duiding

Op basis van het bovenstaande zou je bijna denken, dat buzz monitoring geen toegevoegde waarde heeft. Of dat de personen die de verantwoordelijk zijn voor de uitvoering dit niet goed doen. Dat is natuurlijk niet zo. Gelukkig komen er genoeg analyses voorbij van vakbroeders met kennis van zaken. Analyses waarbij monitoring data wordt gebruikt om trends in kaart te brengen. Of dwarsdoorsnedes naar onderwerpen die relevant zijn voor partijen zoals bijvoorbeeld de hypotheekrenteaftrek. De crux zit voor mij in de duiding die de media eraan geven.

Ik ben erg benieuwd naar de analyses van het debat van vanavond. Een fles whisky voor de verslaggever met de beste interpretatie. Laat me weten wie jullie de beste vinden!

Credits afbeelding: Myntra.com

Geplaatst in

Social media

Steven Jongeneel

Oprichter en eigenaar van Social Embassy. Investeerder Symbaloo.

Er zijn 15 reacties op dit artikel

Rens
Sterk stuk!

Ik denk dat er ook enige samenhang is met de 'journalistieke verloedering' waar vaak over wordt gesproken. Journalisten willen nieuws, nieuws en nieuws. "Een trendanalyse rondom de hypotheekrenteaftrek? Mwa, laat liever zien over wie het meest positief wordt gesproken, dan maken wij er wel van dat hij ook de verkiezingen gaat winnen."

Wat mij betreft dus ook een flesje whisky voor het mediakanaal dat een verslaggever de ruimte geeft voor goede analyses. Of zou de kijker dan wegzappen?

geplaatst op 04-09-2012 om 16:56
Joris Verbogt
Maar waarom zouden data-mining tools niet beter in staat zijn tot duiding dan een journalist? Je gaat er nu impliciet van uit dat een "systeem" niet in staat is om sarcasme te signaleren. Of die dwarsdoorsnedes te maken. Vanwaar die skepsis?
Misschien zijn de tools die nu gebruikt worden inderdaad veel te simpel, maar waarom dan niet werken aan betere tools i.p.v. vertrouwen op journalisten met al hun menselijke beperkingen (eigen mening, beperkte kennis, verleiding om te scoren)?

geplaatst op 05-09-2012 om 00:23
Bart van der Kooi, Kaiola
Beste Steven,

Ik vind je artikel enigszins kort door de bocht, anderszins begrijp ik je frustratie ook wel. Ik deel je mening dat de resultaten van online monitoring niet representatief zijn voor de hele doelgroep, maar als je dát wilt bereiken dat zal je de <u>complete doelgroep</u> moeten ondervragen. Bekijk je het zo dan is geen enkel onderzoek betrouwbaar.

Wat mij een belangrijke aanvulling lijkt is de volgende: Zoals je bij de C1000 campagne al opmerkt, wordt er meer negatief dan positief geuit op social media. (Dat dit een ándere doelgroep is dan de klanten van de C1000 laat je gemakshalve achterwege?). Het belangrijkste is dus: vergelijken! Heb je meerdere campagnes als bedrijf, gebruik dan <u>dezelfde</u> meetmethode en vergelijk de resultaten onderling. Alleen zo krijg je de beste gegevens. Bij verkiezingen idem.

Sarcasme komt tevens voor in berichten. Ik ben een voorstander van handmatige sentimenttoekenning en tegen automatisch toekennen. Toch denk ik dat dit steeds nauwkeuriger wordt. En zeg nou zelf, als er een paar foutjes zitten in een volume van duizenden berichten, heeft dit toch geen effect op het resultaat?

geplaatst op 05-09-2012 om 08:34
Steven Jongeneel
Ha @joris, denk dat je een interessant punt maakt. Wellicht zijn er mensen die hier vanuit tooling zelf op kunnen reageren?

@bart, van frustratie is geen sprake hoor. Naar mijn mening is het verstandig om hier op deze plek openlijk discussie over te voeren. Een verkeerde interpretatie van zoiets moois als monitoring data zal namelijk niet alleen terugslaan op de media zelf, maar ook op ons vakgebied. Los daarvan ben ik het eens met je nuancering ten aanzien van C1000 en de menselijke component bij het beoordelen van sentiment.

geplaatst op 05-09-2012 om 08:59
Annelies Verhelst, beschikbaar
"De crux zit voor mij in de duiding die de media eraan geven."

Dat is een juiste conclusie ja. Aan de andere kant ben je als toolingpartij of onderzoeksbureau ook verantwoordelijk om de media van juiste data te voorzien en daar van te voren al een beetje sturing aan te geven qua interpretatie. Vind ik.

En ook ik ben voor handmatige sentimentmeting, zolang de foutratio nog vrij groot is daarin. Maar goed, een correct onderzoek is wel van meer afhankelijk dan alleen de foutmarge.

Los daarvan zag ik gisteren in een krant een stukje dat het pas vlak voor de verkiezingen nut heeft om wat dan ook te meten, ook stemgedrag. Geldt denk ik ook voor online sentiment over partijen om daar stemgedrag aan te koppelen. Zeker nu, niemand weet wat ie moet stemmen en men beslist dat pas kort van te voren in zo'n geval. Gok ik. Soort van N=weinig.

geplaatst op 05-09-2012 om 10:49
Bram Koster, Evolve
@all: de discussie over handmatige vs. geautomatiseerde sentimentsanalyse lijkt nog vaak te veronderstellen dat de hangmatige analyse de norm is. Echter, die blijkt ook regelmatig mis te zitten, waardoor geautomatiseerde analyse misschien wel even betrouwbaar is. Erik Tromp van Adversitement heeft hierover twee mooie blogs geschreven:

http://bit.ly/Th9SUg
http://bit.ly/OlRmox

En ook Ivo Langbroek van Blauw Research heeft hiernaar mooi onderzoek gedaan. Zijn conclusie blijft wél dat handmatig nauwkeuriger is:

http://bit.ly/GRL9iA

Ach, het antwoord zal wel weer zijn: it depends! :)

geplaatst op 05-09-2012 om 10:59
Stefan Bakker
Dat een sentimentmeting niet aangeeft wat het werkelijke sentiment is, is toch al een tijdje bekend. Ik verbaas me er eerlijk gezegd over dat in de commentaren hier anders wordt gesuggereerd.

geplaatst op 05-09-2012 om 11:29
Hidde Tuinstra, Social Inc.
Hulde voor dit tegengeluid! Ik stoor me al een tijdje aan de 'inkoppers' die gedaan worden rondom de verkiezingen.

Ik ben ook van mening dat je niet direct 1 op 1 aannames kan maken onder andere om de redenen die hierboven genoemd worden. Ik denk echter dat er nog een belangrijk onderdeel vergeten wordt:

"De actieve uitgesproken social media gebruiker is geen gemiddelde Nederlander"

Als je als voorbeeld iemand neemt die actief op social zijn mening uit. Bijvoorbeeld de veel tweeter die actief politiek betrokken is, een "handjevol" van deze mensen zullen de meeste content maken, dus kun je dat door trekken naar de rest van NL? Nee, lijkt me niet. "Henk en Ingrid" zullen waarschijnlijk geen tweets eruit gooien, maar reageren op artikelen van Telegraaf en NuJij. Dat zijn weer factoren die meegenomen moeten worden.

Quick & Dirty resultaten uit buzz en sentiment alleen zegt gewoon niet genoeg. Wat ook al aangegeven werd, de data-diggers die goede duiding geven, die gaan het verschil maken.

geplaatst op 05-09-2012 om 11:34
Bram Koster, Evolve
@Stefan: geen idee of je mijn comment bedoelt, maar voor het geval dat: ik suggereer niet dat sentimentmeting het werkelijke sentiment weergeeft, maar wel dat automatische sentimentmeting niet per se slechter hoeft te zijn dan handmatige. En dat is niet mijn mening, maar een resultaat uit solide onderzoek: http://bit.ly/Th9SUg.

In alle gevallen geldt - en dat is precies het punt dat Steven probeert te maken, volgens mij - dat zelfs bij een 100% accurate analyse van het sentiment op social media die zeker niet representatief is voor de échte mening van die mensen (zie C1000-voorbeeld) en al helemaal niet voor de gehele bevolking (incl. mensen die niet actief zijn binnen social media dus).

geplaatst op 05-09-2012 om 11:37
Stefan Bakker
Bedankt voor de link Bram, erg interessant. Ik ben nog niet op het punt de handmatige analyse voor mn klanten los te laten. Natuurlijk kun je op basis van objectieve indicatoren zowel handmatig als automatisch de analyse uitvoeren (beide niet volledig betrouwbaar), maar ik zet liever een inhoudelijk expert van het betreffende onderwerp in voor die analyse. Heeft allicht ook te maken met de specifieke onderwerpen waarmee ik me voor mn klanten bezig.

geplaatst op 05-09-2012 om 14:17
Pieter Vlamings, Vlamings Social
Heb me lichtelijk verbaasd over de partijen van naam die met enkel een volume aan berichten en de bijbehorende tagcloud afbeelding zich bij de debatten presenteerden.

Nietszeggende 'scorebord journalistiek' zonder de eerder genoemde zaken in ogenschouw te nemen voegt niets toe.

Waardeer je oproep om het iemand eens goed te laten doen de komende dagen en gun ze een goed glas whisky om dat te vieren.

geplaatst op 05-09-2012 om 15:35
Bram Koster, Evolve
@Stefan: ik denk dat dat inderdaad het beste is: o.b.v. de situatie/context/klant/communicatiedoelstelling/etc. (oh, en het budget?!?!?) bepalen welke analyses je wilt gebruiken of niet.

Ben zelf erg benieuwd in hoeverre we in staat zijn om die geautomatiseerde sentimentsanalyse in de komende jaren substantieel te verbeteren. Ik vermoed dat we nog flink wat hordes moeten nemen, maar dat het bijna onontkoombaar is dat die analyses echt zinvol worden. Al was het alleen maar omdat onze eigen emoties én ratio een heldere analyse soms ook in de weg zitten... :)

geplaatst op 05-09-2012 om 16:31
Martijn Kriens, iCrowds
@Steven, Ik ben het helemaal met je eens dat he een tool is dat je met beleid moet toepassen. Daarmee is het tool echter lang niet waardeloos.

Sentimentanalyse gaat lang niet altijd goed inderdaad. Wel zie ik in de praktijk dat bij voldoende grote hoeveelheden dit behoorelijk verspreid. Overigens niet altijd, voorbeeld is bijvoorbeeld de PVV die veel ironie, sarcasme en cynisme uitlokt waardoor het aantal positieve berichten als te hoog wordt ingeschat.

Je stelt dat de groep op sociale media niet representatief is voor "de kiezer. Dat klopt maar de vraag is of dat erg is. We zijn bezig met de VU om hier onderzoek voor op te zetten. Insteek is daarbij dat niet het stemgedrag van de twitteraar voorspellend is maar de inschatting die die twitteraars maken over hoe de trends lopen. Dus niet hun eigen stemgedrag maar het stemgedrag "van de buren". Als je dan ongeveer 400.000 berichten in één week hebt met politieke inhoud van 100.000 auteurs dan krijg je dat de inschattingen statistisch convergeren naar de "waarheid". Hetzelfde mechanisme waarom de gemiddelde inschatting van een groep hoeveel knikkers er in een pot zitten bijna altijd heel dicht bij de waarheid ligt.

geplaatst op 05-09-2012 om 18:23
Danny Oosterveer, Datasexual
Zoals Bram zegt wisselen de resultaten, maar ik geloof dat op dit moment handmatige analyse nog betrouwbaarder is. Maar goed, geloof niet dat het schaalbaar/op termijn betrouwbaarder is. Sentimentanalyse is nu nog vrij basic, maar wordt alsmaar interessanter als het ook acties kan begrijpen. Is het een uiting over een standpunt of over een partij of over een persoon? Wat is het feitelijke object waarover het sentiment wordt uitgesproken?

geplaatst op 05-09-2012 om 22:27
Steven Jongeneel
@martijn natuurlijk is de tooling niet waardeloos, integendeel zelfs. Dat is ook niet wat ik stel. Zoals vaak gaat ook in dit geval de ontwikkeling van technologie sneller dan de adoptie. Ten aanzien van representativiteit wijs ik hier op omdat ik deze nuancering vaak vaak de media en snip-snap-onderzoekjes mis. Let wel, dat gedrag op social media ook een belangrijke rol speelt. Zo blijkt uit eerder onderzoek dat mensen zich op social media vaker negatief dan positief uitlaten.

geplaatst op 06-09-2012 om 10:15

Plaats zelf een reactie

Let op: je reactie blijft voor altijd staan. We verwijderen deze dus later niet als je op zoek bent naar een nieuwe werkgever (of schoonmoeder). Reacties die beledigend zijn of zelfpromotioneel daarentegen, verwijderen we maar al te graag. Door te reageren ga je akkoord met onze voorwaarden.