Het monitoren van de verkiezingen via social media

Het monitoren van de verkiezingen via social media

In mei en juni van dit jaar schreef ik een serie van drie blogposts over de politiek (1, 2, 3) hier op Marketingfacts. Mede op basis van deze posts heb ik voor RTL de politiek gevolgd op basis van de sociale media. Met behulp van Coosto heb ik analyses gemaakt van partijen, partijleiders, debatten en nog veel meer. Met deze posting willen we graag delen wat ons is opgevallen, wat we geleerd heb over de mogelijkheden en de onmogelijkheden van sociale media-monitoring.

Deze post heb ik, net als mijn eerdere politieke posts, samen geschreven met Rens Dietz van Coosto.

Zoekstrings

De eerste opdracht was natuurlijk: hoe filter je de politieke berichten uit de grote stroom van berichten op sociale media? De meest logische optie is het gebruik van de naam van de partij of partijleider. Als deze in een bericht aanwezig is, is het meestal een politiek bericht. Dat gaat meestal goed, want partijnamen zijn bijna allemaal eenduidig in het gebruik: VVD, PvdA, PVV, CDA, SP, D66, GroenLinks (of GL). Daarna wordt het echter moeilijk.

De ChristenUnie wordt ook vaak geschreven als CU. Echter, CU wordt ook vaak toegepast als afkorting voor "See You". Daarvoor heb ik twee strategieën onderzocht: zoeken op CU in hoofdletters (“seeyou” wordt vaak met kleine “cu” geschreven) of een vast aantal berichten in mindering brengen omdat de afkorting van "seeyou" per week ongeveer even vaak voorkomt. Eenzelfde probleem speelde met de achternaam van Jolande "Sap".

De oplossing bij ChristenUnie was om te zoeken op CU in hoofdletters, omdat dit het meest voorspelbare resultaat gaf. Om alle berichten over GroenLinks bij elkaar te brengen hebben we gekozen om de term "Sap" alleen te selecteren als er ook een andere politieke term in het bericht voorkwam (andere lijsttrekkers, partijen of politieke termen). Je mist dan slechts een klein aantal berichten.

Daarnaast spelen natuurlijk altijd schrijffouten een rol (Samsom/Samson, Emile/Emiel). Oplossing is natuurlijk zoeken naar alle mogelijke schrijffouten (Samsom wordt in ca. 20% van de gevallen verkeerd geschreven...). Voordeel is wel dat geen enkele lijsttrekker Jansen heet en dat de lijsttrekkers van de grote partijen (Rutte, Samsom, Roemer en Wilders) relatief weinig voorkomende achternamen hebben. Dat kan haast geen toeval zijn ;-).

Bij de start konden we ongeveer 70.000 politieke berichten per week vinden. Op het hoogtepunt van de campagne waren dat er meer dan 500.000 per week! Vooral de debatten leverden een hoop politieke berichten op. Zo leverde het Premier-debat uiteindelijk meer dan 140.000 berichten op.


Klik op de grafiek voor een grote versie.

Sentiment

Voor de analyse heb ik veel gebruikgemaakt van sentimentanalyse: is een bericht positief of negatief in relatie tot de zoekterm? Als je zoekt op "VVD" zijn andere berichten positief en negatief dan als je zoekt op "PvdA". Uiteraard ben ik het helemaal eens dat sentimentanalyse een hoop zwakke kanten heeft. De opmerking “weer twee fractieleden weg bij de PVV: goed bezig die Geert” levert een positief sentiment op voor de PVV. Sarcasme, ironie en cynisme zijn niet aan computers besteed.

Toch heb ik gemerkt dat, mits de volumes voldoende zijn, je sentimentanalyse goed kunt gebruiken. Bijvoorbeeld in de hiernaast staande grafiek die het sentiment rondom Rutte en Samsom weergeeft (voortschrijdend driedaags gemiddelde). Te zien is dat het sentiment rondom VVD/Rutte al negatief werd vóór het eerste debat. Onderwerp was toen vooral zijn onzichtbaarheid. Na het RTL Premier-debat zakt hij snel weg als gevolg van de discussie over liegen (zijn aanvaring met Roemer).

Tegelijkertijd zien we dat het sentiment rondom PvdA/Samsom sterk stijgt. Desonanks is de conclusie, als je de individuele berichten bekijkt (in een steekproef uiteraard, het gaat in totaal over meer dan 1,5 miljoen berichten!), dat de ruis van foute interpretaties in het algemeen gelijk verdeeld is. Maar steekproefsgewijs door de individuele berichten lopen blijft noodzakelijk.


Klik op de grafiek voor een grote versie.

De conclusie uit sentimentanalyse kan soms heel verassend zijn. Samsom werd door de kijkers uitgeroepen als winnaar van het Carrédebat (via het second screen). Maar als we naar de sentimentsgrafiek van dit debat kijken, zien we dat het sentiment rondom Samsom niet of nauwelijks van zijn plek kwam. Wilders daarentegen maakte heel veel positief sentiment los in de eerste helft van het debat met zijn one-liners op een manier die goed paste bij het format van het debat (nota bene in een theater). Het lijkt er op dat de gewoonte om Samsom als winnaar van debatten aan te wijzen te sterk geworden was. In latere analyses door debatdeskundigen kwam ook de conclusie naar voren dat Wilders het meeste indruk had gemaakt.

Positieve berichten als maat voor populariteit

Het Premier-debat bij RTL4 wordt gezien als de “game changer” in de campagne waarbij Roemer werd ingewisseld voor Samsom als uitdager van Rutte. Maar is dat ook zo? In de grafiek hieronder zien we de aantallen positieve berichten van Samsom en van de PvdA tijdens het debat pieken. Samsom piekt daarbij veel sterker dan de PvdA. Het positieve sentiment rust veel meer op de lijsttrekker dan op de partij op dat moment. Zowel Samsom als de PvdA zakken daarna weer. Pas na het tweede debat (“Nu doet u het weer, mijnheer Rutte”) zien we dat het aantal positieve berichten rondom Samsom op een hoog niveau blijft. De trendlijn voor de populariteit van de PvdA was al licht aan het groeien voor het debat en blijft ongeveer in een zelfde tempo doorgroeien. Uiteraard heeft Diederik Samsom met zijn performance tijdens de debatten veel bijgedragen aan de groei, maar het positieve sentiment was al aan het ontstaan. Een zelfde verhaal kan worden gehouden voor de neergang van de SP die ook al voor het Premier-debat te zien is in de grafiek van Roemer en de SP (niet opgenomen in dit artikel).


Klik op de grafiek voor een grote versie.

Hét trending topic tijdens het Carré-debat was uiteraard Petra Grijzen (de “Rode Papegaai”) en de 1-op-1-interviews die ze hield. Aan de grafiek van aantallen berichten is te zien dat alle pieken in berichtenverkeer samenhangen met haar interviews. Ook na het uitfilteren van alle opmerkingen over haar toon en de kleur van haar jurk bleef de opmerking op Twitter over: “WatKiestNL op 12 september: ik denk de zwarte met 64GB #iPhone”…

Liegende lijsttrekkers

Een belangrijk topic in het begin van de campagne was het liegen van lijsttrekkers. Ook daar over hebben we interessante gegevens boven water weten te halen. Onderstaande grafiek is gemaakt op basis van het zoeken naar combinaties van het woord “liegen” en de lijsttrekkers Rutte, Samsom, Roemer en Wilders. In de grafiek is de relatieve verdeling hiervan aangegeven over de week volgend op het Premierdebat (totaal op de Y-as is dus steeds 100%). Opvallend is dat het “liegen” duidelijk aan Rutte bleef kleven, bij Wilders al snel weer weg was (misschien zijn we het van hem gewend?), bij Roemer pas later in de week opkwam maar snel wegebde en dat Samsom de hele week niet als leugenaar werd gezien.


Klik op de grafiek voor een grote versie.

Inschatten sentiment rondom onderwerpen

Is een instrument als Coosto ook bruikbaar voor politici om in te schatten welke onderwerpen ze het beste kunnen adresseren? In de grafiek hieronder is het sentiment te zien in de combinatie van Rutte en Europa. Te zien is dat voordat de campage echt begon het sentiment rond Rutte en Europa al negatief was. Zijn Europa-standpunt kan op weinig draagvlak rekenen. Toch drukte hij de rode knop in tijdens het Carré-debat en verkondigde dat er geen cent meer naar Europa gaat. Op dat moment zakt het sentiment rondom Rutte en Europa tot een dieptepunt. Gegeven dit sentiment was het voor Rutte verstandiger geweest om niet teveel statements te maken die veel aandacht zouden krijgen.


Klik op de grafiek voor een grote versie.

Sociale media als peilinstrument

Kunnen we met behulp van berichten op sociale media ook de verkiezingsuitslag voorspellen? Op basis van de berichten op sociale media gedurende de weken voor de verkiezingen van 2010 hebben we een analyse gemaakt door simpelweg positieve berichten te tellen in de week voorafgaand aan de verkiezingsdag en de procentuele uitslag te nemen als verkiezingsuitslag. Op basis van de verschillen tussen de voorspelling en realiteit in 2010 hebben we een correctiefactor toegepast.

Deze cijfers hebben we doorgesproken met een hoogleraar op de Vrije Universiteit, Jan Kleinnijenhuis. Onze hypothese daarbij was, dat veel van de berichten niet gaan over wat iemand zélf stemt, maar de inschatting bevatten die iemand maakt wat “Nederland” gaat stemmen. En als voldoende mensen maar een inschatting maken wie er gaat winnen, zullen de afwijkingen zich uitmiddelen. Met 550.000 berichten van 125.00 personen in de week voor de verkiezingsdag zijn dat een heleboel inschattingen. Met andere woorden, we benaderen de politiek als die stier op de markt: als maar genoeg mensen zijn gewicht schatten, zal het een representatief beeld geven met een normale verdeling. Een gecrowdsourcede peiling dus.


UPDATE, 14 september 13.30 uur: bovenstaande tabel is aangepast o.b.v. verschuiving in de verdeling van restzetels (o.a. vanwege de lijstverbinding van PvdA, Groenlinks en SP.

Het resultaat? We kunnen er lang of kort over praten, maar samenvattend kunnen we stellen dat we er zwaar naast zaten. Gelukkig zaten de andere peilingen er evenveel of zelfs verder naast, maar toch: we zaten er zwaar naast.  De voorspellingen zijn gemaakt op basis van een 7-daags gemiddelde. In de loop van de week zag ik wel dat de cijfers van de laatste dagen opliepen, maar vond niet dat ik de gekozen systematiek moest verlaten. Binnenkort gaan we met de Vrije Universiteit evalueren hoe dit beter had gekund.

Resumerend, het monitoren van sociale media biedt vele kansen om te gebruiken in de politiek - en daarbuiten. Het luisteren naar en analyseren van al die microboodschappen die worden verstuurd vanaf de bank thuis heeft absoluut waarde. We hebben alleen nog veel te leren hoe we die waarde in alle situaties moeten oogsten!


Delen

0
0


Er zijn 4 reacties op dit artikel

  • Mooi verhaal Martijn en wat gaaf voor jullie dat je dit mocht doen! Toch typisch dat een van de termen waar je qua monitoring extra aandacht aan moet besteden (CU) achteraf bijdraagt aan de nauwkeurigste voorspelling. Heb je daar misschien correcties doorgevoerd die je in een andere vorm ook bij de overige partijen had kunnen doen? En kun je ook nog terugredeneren vanuit de uitslag om te speuren naar patronen of is dat te ingewikkeld?

    geplaatst op
  • Dag Hans, Reken maar dat we dit gaan analyseren. We hebben een afspraak staan met de Vrije Universiteit om de resultaten te delen en samen met Coosto en de VU te kijken wat we hier kunnen verbeteren. Ik heb bij een aantal correcties doorgevoerd in verband met de achterban van de partij (zoals CDA (vergrijsde achterban), Partij voor de Dieren (waarbij Marianne Thieme alleen al zich een slag in de rondte twittert enz.

    Wel denk ik dat er gisteren iets gebeurt is in de allerlaatste dag. Als je me het vooraf gevraagd had zou ik hebben gezegd dat juist dit soort omslagen (die "in de lucht" moeten hangen want het gebeurt in heel Nederland) beter met sociale media te voorspellen zijn dan via peilingen.... We gaan het onderzoeken!

    geplaatst op
  • Quote1:“Op basis van de berichten op sociale media gedurende de weken voor de verkiezingen van 2010 hebben we een analyse gemaakt door simpelweg positieve berichten te tellen in de week voorafgaand aan de verkiezingsdag en de procentuele uitslag te nemen als verkiezingsuitslag. Op basis van de verschillen tussen de voorspelling en realiteit in 2010 hebben we een correctiefactor toegepast.”

    Quote 2:"Onze hypothese daarbij was, dat veel van de berichten niet gaan over wat iemand zélf stemt, maar de inschatting bevatten die iemand maakt wat “Nederland” gaat stemmen."

    Ik werk ook als social media analist. Nu ben ik geen psycholoog en ook niet bijzonder politiek onderlegd maar persoonlijk denk ik dat de vele, elkaar in hoge frequentie opvolgende mediaoptredens en media aandacht voor de fractievoorzitters van grote invloed geweest is, als je puur naar reacties in social kijkt. Rondom de tv optredens zit enorme hoeveelheid buzz omdat 'iedereen*' daar wat van vindt. Mensen moesten lachen om de gevatte uitspraken van Wilders, en daarom heeft hij meer positief sentiment gescoord maar dat zegt nog niet veel over stemgedrag. Kijk je puur naar (alleen positief?) sentiment dan zou je tot de conclusie moeten komen dat de VVD/Rutte door weinig positief sentiment het juist veel slechter zou doen dan PvdA/Samsom?

    Juist berichten rondom live-media optredens gaan over de emotie die de fractievoorzitters -op dat moment- oproepen. En het onderwerp of de persoon die die 'emotie' oproept, hetzij positief hetzij negatief is niet perse hetgene wat je van plan bent te gaan stemmen. Of een mening over wat NL zou stemmen, meer een reactie op wat men op dat moment voelt. *Daarnaast heb je natuurlijk ook een groot deel mensen die zich niet uitspreken via social media, maar die wel gestemd hebben.

    Overigens ken ik de gebruikte tool goed en vind ik een van de beste tools die er zijn. Wij zetten social media onderzoek voor onze klanten niet direct in om kwantitatief te peilen, maar meer om te zien welke thema’s er spelen of waar onduidelijkheden liggen. Met de korte onderzoekstijd en de grote dataset denk ik dat het gewoon heel lastig is gedegen uitspraken te doen over stemgedrag, maar toch chapeau voor de poging, iemand moet zijn nek uitsteken :).

    geplaatst op
  • Dit was inderdaad wel nek uitsteken voor meer dan een half miljoen kijkers :-) Overigens ook voor RTL zelf om dit op deze manier op te pakken.

    Ten aanzien van de buzz en dus berichten die de massa media genereren klopt dat. Ook het bespreken van de dagelijkse peilingen op sociale media zal een (verstorende) rol spelen.

    Rutte/VVD heeft eigenlijk de hele tijd meer berichten gekregen maar door een lager sentiment waren het aantal positieve berichten lager dan voor de PVDA/Samsom.

    We gaan dit binnenkort nog maar een keer goed analyseren

    geplaatst op

Plaats zelf een reactie

Log in zodat je (in het vervolg) nóg sneller kunt reageren

Vul jouw naam in.
Vul jouw e-mailadres in. Vul een geldig e-mailadres in.
Vul jouw reactie in.

Herhaal de tekens die je ziet in de afbeelding hieronder


Let op: je reactie blijft voor altijd staan. We verwijderen deze dus later niet als je op zoek bent naar een nieuwe werkgever (of schoonmoeder). Reacties die beledigend zijn of zelfpromotioneel daarentegen, verwijderen we maar al te graag. Door te reageren ga je akkoord met onze voorwaarden.