Wat is de toekomst van buzz- en sentimentonderzoek?

Ongeveer een week voor de verkiezingen ontstond er hier op Marketingfacts een kleine discussie naar aanleiding van de blogpost Buzzmonitoring? Cut the crap!. In het door Steven Jongeneel geschreven artikel werden belangrijke kanttekeningen geplaatst bij de vele duidingen van politieke buzz en sentiment. Met name het positioneren van deze data als onderzoeksresultaten en het klakkeloos overnemen ervan door de traditionele media haalde hij aan. Een interessante ontwikkeling volgde op de verkiezingsavond zelf.

Hoe gebruikelijk de peilingen en de nieuwerwetse online voorspellingen ook zijn, er blijven zaken die niet of moeilijk te meten zijn. Zijn deze hoeveelheden sociale data wel te duiden? Geeft een sentimentanalyse een goed beeld van de stemming in het land? Is hierin nog onderscheid te maken tussen handmatige en automatische analyse? En, hoe zullen sentimentanalyses zich in de toekomst gaan ontwikkelen? Door mijn eigen verleden bij een monitoringpartij was ik benieuwd naar de visie van de verschillende (andere) partijen. Wat zijn overeenkomsten en waarin verschillen zij van elkaar? Ik vroeg het Buzzcapture, Finchline, Teezir en Tracebuzz. Coosto was niet in de gelegenheid inhoudelijk te reageren. Martijn Kriens (Upstream) heeft met hen de afgelopen tijd politiek onderzoek gedaan en komt wel aan het woord.

Het sentiment van nu

Je ziet het steeds vaker. Journalisten en programmamakers die al dan niet samen met een (social media) specialist een handjevol tweets duiden en het presenteren als datgene wat leeft onder de bevolking. Social media zijn het nieuwe peilen. De vraag is of we aan de hand van volumestijgingen en sentimentanalyses deze hoeveelheden data kunnen duiden en of we er zelfs mee zouden kunnen voorspellen. Het blijkt een karwei met haken en ogen.

Een belangrijk onderscheid tussen de verschillende onderzoeksbureaus is de wijze van toekennen van sentiment. Het labelen van uitingen kan geautomatiseerd worden toegepast d.m.v. taalherkenning of handmatig door codeurs. Automatische toekenning kent het grote voordeel van snelheid, maar taalanalyse is nog immer een probleem.

Martijn Kriens (Upstream) ondervond dit de afgelopen tijd in zijn politieke analyses: “PVV stimuleert veel ironie, cynisme en sarcasme en daar gaat het vaak fout. Oneliners van Wilders worden vaak geretweet met woorden als 'hahaha' waardoor ze positief getagd worden”. Een handmatige analyse verhoogt de betrouwbaarheid, maar lijkt lijkt met name in het geval van grotere volumes praktisch en financieel onhaalbaar. Daarnaast stelt Peter Aarts (Teezir) de vraag: “Hoe zit het met de constante van de beoordelaars? Beoordelen zij allemaal volgens dezelfde criteria? Of kijken zij door hun eigen bril en dus met eigen emoties naar de documenten? Wat nu als een van de onderzoekers een zware emotionele klap te verwerken krijgt? Hoe worden documenten dan beoordeeld?”.

Een combinatie van de twee methoden lijkt noodzakelijk. “Automatische sentimentanalyse geeft een indicatie, niet meer dat dat. Vaak wordt gezegd dat ironie/sarcasme het enige issue is, maar vergeet niet dat slechts één type sentiment wordt toegekend aan een artikel, terwijl het positief voor de één kan zijn en negatief voor de ander. Als je echt iets zinnigs wilt concluderen, zal je altijd een menselijke component nodig hebben,” aldus Alex van Leeuwen (Buzzcapture). Tot slot concludeert Marco van de Kamp (Trazebuzz): “Mensen zijn minder consistent met keuzes, maar computers zijn dommer. Laat de computer voorselecteren en de mens controleren”.

Voorspellen

Menselijke duiding lijkt in de sociale media onontbeerlijk. Martijn Kriens (Upstream) deed rondom de afgelopen verkiezingen samen met Coosto een dappere poging om aan de hand van sociale data en enkele corrigerende berekeningen te duiden en zelfs te voorspellen. Hij concludeert: “Wat we in de praktijk gezien hebben is dat je heel goed reacties op debatten kunt meten. De conclusie is echter dat het sentiment niet voorspelde wie de verkiezingen won”.

Ook door andere partijen worden deze kanttekeningen geplaatst. Zo stelt Michiel van Gaalen (Finchline) dat er teveel focus is op sentimentanalyse. “Er zijn veel meer analyses mogelijk die een hogere praktische toepasbaarheid hebben. De tools die er zijn, helpen een onderzoeker om trends en inzichten te genereren uit grote hoeveelheden data.” Alex van Leeuwen (Buzzcapture) vult aan: “Social media-analyses geven goed inzicht in wat er speelt onder de bevolking, maar volume en sentiment meten is niet hetzelfde als iemand de vraag stellen op wie ze gaan stemmen.”.

Duiding

Het analyseren van sociale media gaat met name in het bedrijfsleven vaak over de inzet en het verfijnen van kwantitatieve methoden. De verschillende partijen die de branche rijk is, zijn het er echter over eens dat het kwalitatieve onderzoek net zo belangrijk, zo niet belangrijker, is. Michiel van Gaalen (Finchline): “Ik denk dat sentimentsanalyses gaan veranderen in analyses die berichten herkennen als vraag, klacht, potentiele klant en andere waardevolle informatie die helpt om je bedrijf aan meer (tevreden) klanten te helpen. We zien dat de kennis en interacties die in sociale kanalen verstopt zitten steeds meer gebruikt worden om op een andere manier zaken te doen”.

“Er wordt vaak alleen gekeken naar social media maar er is veel meer”, aldus Peter Aarts (Teezir). “Krant, radio en TV, STIR-data, callcenterdata, metadata, etc. Allemaal big data die door (sentiment)analyse doorgrond kan worden. Zodra je deze gecombineerde data gaat analyseren, zullen nieuwe inzichten ontstaan.” Aarts linkt deze koppeling van data aan het politieke speelveld: “Een politiek leider verspreekt zich bij De Wereld Draait Door. De volgende ochtend wordt dit uitgebreid verhaald in de landelijke dagbladen. Via Twitter ontstaat massa, op blogs en fora voert men discussie. Wat valt er te analyseren? Wat is het sentiment in de dagbladen versus het sentiment op Twitter? Zijn topics/inhoud gelijk aan elkaar? Bloggen mensen over de uitglijder van het kopstuk of over randzaken? Praten ze erover op fora? Ik zou het als spindokter allemaal willen weten!”.

Toekomst

Martijn Kriens concludeert in zijn terugblik dat tot een aantal dagen voorafgaande aan de verkiezingsdag de gekozen systematiek betrouwbaar bleek. “Resumerend kunnen we stellen dat het monitoren van sociale media vele kansen biedt om te gebruiken in de politiek. En daarbuiten. Het luisteren naar en analyseren van al die microboodschappen die worden verstuurd vanaf de bank thuis heeft absoluut waarde. We hebben alleen nog veel te leren hoe we die waarde in alle situaties moeten oogsten.”

Ondanks deze eerste wellicht hoopvolle resultaten is er ook kritiek. Van Gaalen: “Media nemen twitteranalyses over en twitteraars nemen berichten uit de media over, je kunt jezelf dus afvragen wat je aanmoet met al die tweets. Een goede analist kan daarentegen wel tot nieuwe inzichten komen op basis van trends en meningen in tweets en andere sociale kanalen. Daar zul je alleen aanvullend onderzoek naar moeten doen om deze inzichten te toetsen.”

Marco van de Kamp (Tracebuzz) vult aan: “Het is nieuws creëren en mensen laten zich er door beïnvloeden. Als de PvdA niet aan het stijgen was geweest in de peilingen, was de uitslag anders geweest, daar ben ik van overtuigd.”

Focus op kwalitatieve analyse

Peter Aarts beschrijft een mogelijke toekomst waarin social media een meer aanvullende rol zullen spelen. Zo kunnen accounts binnen verschillende sociale kanalen gekoppeld worden aan traditionele peilingen. Profielinformatie, maar ook datgene wat online gedeeld wordt, kan een gedetailleerder beeld en rijkere voorspellingen opleveren. Niet alleen de gesloten enquêtevragen, maar ook open vragen zijn in dat geval realiteit. “Persoonlijk denk ik dat onderzoeksbureaus social media-data moeten zien als een extra databron naast de data die zij al hebben uit bijvoorbeeld enquêtes.”

Met name meer aandacht voor de kwalitatieve analyse is een essentieel onderdeel van toekomstig onderzoek. “Social media zijn geen glazen bol”, aldus Alex van Leeuwen (Buzzcapture), “maar het wordt wel een geaccepteerd vast onderdeel bij nieuwsverslaggeving. Het uitkristalliseren hoe je een nieuwe informatiebron het beste inpast kost wel tijd en dat is wat er nu aan de gang is. In dat proces zullen social media-analisten en journalisten uit traditionele media nog wel wat leermomentjes krijgen.”

Zowel in het bedrijfsleven als in het politieke veld draait het om koppelen van databases en informatiestromen. Naast dat dit om geavanceerde (technische) systemen vraagt wordt de rol van de duider groter en vooral belangrijker. Natuurlijk is het begrijpelijk dat media deze nieuwe ontwikkelingen willen betrekken in hun verslaggeving. De manier waarop dit op dit moment gebeurt, voegt echter vrij weinig toe. Binnen de organisaties én ook in de (onderzoeks)journalistiek vraagt dit om een kwalitatieve social media-analist. Het slechts tonen van sentiment kan niet als voldoende worden beschouwd.