Sentimentanalyse

Bij sentimentanalyse speelt het woord nauwkeurigheid altijd een hoofdrol. En wat blijkt? Geautomatiseerde sentimentanalyse scoort beter dan de menselijke beoordelingscapaciteiten. Maar hoe goed is de mens dan? Vaak wordt ervan uitgegaan dat mensen het sentiment in een tekst in 70% van de gevallen goed beoordelen. Dat getal wordt vaak gebruikt, maar het is lastig te achterhalen. Op Wikipedia wordt die 70% genoemd, maar er is geen citaat vemeld. En daarnaast, hoe representatief is dat getal voor voor tweets? Om die vraag te beantwoorden, organiseerde ik een maand geleden een experiment.

Ongeveer een week voor de verkiezingen ontstond er hier op Marketingfacts een kleine discussie naar aanleiding van de blogpost Buzzmonitoring? Cut the crap!. In het door Steven Jongeneel geschreven artikel werden belangrijke kanttekeningen geplaatst bij de vele duidingen van politieke buzz en sentiment. Met name het positioneren van deze data als onderzoeksresultaten en het klakkeloos overnemen ervan door de traditionele media haalde hij aan. Een interessante ontwikkeling volgde op de verkiezingsavond zelf.

Hoe gebruikelijk de peilingen en de nieuwerwetse online voorspellingen ook zijn, er blijven zaken die niet of moeilijk te meten zijn. Zijn deze hoeveelheden sociale data wel te duiden? Geeft een sentimentanalyse een goed beeld van de stemming in het land? Is hierin nog onderscheid te maken tussen handmatige en automatische analyse? En, hoe zullen sentimentanalyses zich in de toekomst gaan ontwikkelen? Door mijn eigen verleden bij een monitoringpartij was ik benieuwd naar de visie van de verschillende (andere) partijen. Wat zijn overeenkomsten en waarin verschillen zij van elkaar? Ik vroeg het Buzzcapture, Finchline, Teezir en Tracebuzz. Coosto was niet in de gelegenheid inhoudelijk te reageren. Martijn Kriens (Upstream) heeft met hen de afgelopen tijd politiek onderzoek gedaan en komt wel aan het woord.

In mei en juni van dit jaar schreef ik een serie van drie blogposts over de politiek (1, 2, 3) hier op Marketingfacts. Mede op basis van deze posts heb ik voor RTL de politiek gevolgd op basis van de sociale media. Met behulp van Coosto heb ik analyses gemaakt van partijen, partijleiders, debatten en nog veel meer. Met deze posting willen we graag delen wat ons is opgevallen, wat we geleerd heb over de mogelijkheden en de onmogelijkheden van sociale media-monitoring.

De laatste tijd zijn de lijsttrekkers van de grote partijen veel in het nieuws. Veel berichten gingen over wat de lijsttrekkers gezegd hadden, of dit nu wel of niet waar was en of ze er stemmen mee zouden winnen of verliezen. Met het Carré-debat in het vooruitzicht gaan we eens kijken naar hun imago en de mogelijke reputatieschade die eerdere debatten veroorzaakt kunnen hebben.

Over iets meer dan drie weken staan we allemaal weer in het stemhokje voor de Tweede Kamer-verkiezingen (jij toch ook?). In aanloop naar die dag brengt Marketingfacts-collega en -blogger Martijn Kriens in het dagelijkse RTL-verkiezingsprogramma Wat Kiest Nederland een overzicht van de inhoud en stemming van de politieke discussies op sociale media als Twitter en Facebook. Welke partijen zijn onderwerp van gesprek, welke lijsttrekker is het populairst en wat zijn de trending politieke thema’s van de dag? Op Marketingfacts zullen we geregeld verslag doen van de analyses die Martijn maakt i.s.m. Coosto.

Enige tijd terug schreef ik al over de nauwkeurigheid en de toekomst van sentimentanalyse. Een korte kennismaking met een ongekend interessant nieuw werkterrein. Op dat stuk kreeg ik heel veel leuke reacties. Geïnteresseerde reacties, vaak met de vraag naar meer verdieping. Daarom nu een vervolg, met meer nauwkeurigheid over de nauwkeurigheid van sentimentanalyse. Hoe werkt het? Welke stappen doorloopt de methode en wat zijn de gevolgen als het binnen een van die stappen misgaat?

Marketingfacts volgt samen met Coosto de verkiezingen in de aanloop naar 12 september. In deze tweede post over het monitoren van de verkiezingstijd op basis van sociale media gaan we ons wagen aan een eerste voorspelling. Gevaarlijk, maar we doen het toch: wie wordt de nieuwe CDA-lijsttrekker?

In social media analyses zijn we veelal op zoek naar de grootste criticasters en vanzelfsprekend de grootste enthousiastelingen van een merk, product, campagne of evenement. Om deze personen te vinden en vervolgens hun beweegredenen en argumenten te achterhalen, is het nodig om de verzamelde berichten in te delen in positieve, neutrale en negatieve berichten. Deze sentimentanalyses zijn een veelbesproken onderwerp. En er lijken twee kampen te zijn. Het ene kamp voert deze analyses met de hand uit. Het andere laat dit aan een computer over. Maar hoe verhoudt geautomatiseerd zich nu tot handmatige sentimentanalyse? Blauw Research en de Universiteit van Amsterdam sloegen de handen ineen en zochten het uit.