Wat is de toekomst van buzz- en sentimentonderzoek?

25 september 2012, 05:30

Ongeveer een week voor de verkiezingen ontstond er hier op Marketingfacts een kleine discussie naar aanleiding van de blogpost Buzzmonitoring? Cut the crap!. In het door Steven Jongeneel geschreven artikel werden belangrijke kanttekeningen geplaatst bij de vele duidingen van politieke buzz en sentiment. Met name het positioneren van deze data als onderzoeksresultaten en het klakkeloos overnemen ervan door de traditionele media haalde hij aan. Een interessante ontwikkeling volgde op de verkiezingsavond zelf.

Hoe gebruikelijk de peilingen en de nieuwerwetse online voorspellingen ook zijn, er blijven zaken die niet of moeilijk te meten zijn. Zijn deze hoeveelheden sociale data wel te duiden? Geeft een sentimentanalyse een goed beeld van de stemming in het land? Is hierin nog onderscheid te maken tussen handmatige en automatische analyse? En, hoe zullen sentimentanalyses zich in de toekomst gaan ontwikkelen? Door mijn eigen verleden bij een monitoringpartij was ik benieuwd naar de visie van de verschillende (andere) partijen. Wat zijn overeenkomsten en waarin verschillen zij van elkaar? Ik vroeg het Buzzcapture, Finchline, Teezir en Tracebuzz. Coosto was niet in de gelegenheid inhoudelijk te reageren. Martijn Kriens (Upstream) heeft met hen de afgelopen tijd politiek onderzoek gedaan en komt wel aan het woord.

Het sentiment van nu

Je ziet het steeds vaker. Journalisten en programmamakers die al dan niet samen met een (social media) specialist een handjevol tweets duiden en het presenteren als datgene wat leeft onder de bevolking. Social media zijn het nieuwe peilen. De vraag is of we aan de hand van volumestijgingen en sentimentanalyses deze hoeveelheden data kunnen duiden en of we er zelfs mee zouden kunnen voorspellen. Het blijkt een karwei met haken en ogen.

Een belangrijk onderscheid tussen de verschillende onderzoeksbureaus is de wijze van toekennen van sentiment. Het labelen van uitingen kan geautomatiseerd worden toegepast d.m.v. taalherkenning of handmatig door codeurs. Automatische toekenning kent het grote voordeel van snelheid, maar taalanalyse is nog immer een probleem.

Martijn Kriens (Upstream) ondervond dit de afgelopen tijd in zijn politieke analyses: “PVV stimuleert veel ironie, cynisme en sarcasme en daar gaat het vaak fout. Oneliners van Wilders worden vaak geretweet met woorden als 'hahaha' waardoor ze positief getagd worden”. Een handmatige analyse verhoogt de betrouwbaarheid, maar lijkt lijkt met name in het geval van grotere volumes praktisch en financieel onhaalbaar. Daarnaast stelt Peter Aarts (Teezir) de vraag: “Hoe zit het met de constante van de beoordelaars? Beoordelen zij allemaal volgens dezelfde criteria? Of kijken zij door hun eigen bril en dus met eigen emoties naar de documenten? Wat nu als een van de onderzoekers een zware emotionele klap te verwerken krijgt? Hoe worden documenten dan beoordeeld?”.

Een combinatie van de twee methoden lijkt noodzakelijk. “Automatische sentimentanalyse geeft een indicatie, niet meer dat dat. Vaak wordt gezegd dat ironie/sarcasme het enige issue is, maar vergeet niet dat slechts één type sentiment wordt toegekend aan een artikel, terwijl het positief voor de één kan zijn en negatief voor de ander. Als je echt iets zinnigs wilt concluderen, zal je altijd een menselijke component nodig hebben,” aldus Alex van Leeuwen (Buzzcapture). Tot slot concludeert Marco van de Kamp (Trazebuzz): “Mensen zijn minder consistent met keuzes, maar computers zijn dommer. Laat de computer voorselecteren en de mens controleren”.

Voorspellen

Menselijke duiding lijkt in de sociale media onontbeerlijk. Martijn Kriens (Upstream) deed rondom de afgelopen verkiezingen samen met Coosto een dappere poging om aan de hand van sociale data en enkele corrigerende berekeningen te duiden en zelfs te voorspellen. Hij concludeert: “Wat we in de praktijk gezien hebben is dat je heel goed reacties op debatten kunt meten. De conclusie is echter dat het sentiment niet voorspelde wie de verkiezingen won”.

Ook door andere partijen worden deze kanttekeningen geplaatst. Zo stelt Michiel van Gaalen (Finchline) dat er teveel focus is op sentimentanalyse. “Er zijn veel meer analyses mogelijk die een hogere praktische toepasbaarheid hebben. De tools die er zijn, helpen een onderzoeker om trends en inzichten te genereren uit grote hoeveelheden data.” Alex van Leeuwen (Buzzcapture) vult aan: “Social media-analyses geven goed inzicht in wat er speelt onder de bevolking, maar volume en sentiment meten is niet hetzelfde als iemand de vraag stellen op wie ze gaan stemmen.”.

Duiding

Het analyseren van sociale media gaat met name in het bedrijfsleven vaak over de inzet en het verfijnen van kwantitatieve methoden. De verschillende partijen die de branche rijk is, zijn het er echter over eens dat het kwalitatieve onderzoek net zo belangrijk, zo niet belangrijker, is. Michiel van Gaalen (Finchline): “Ik denk dat sentimentsanalyses gaan veranderen in analyses die berichten herkennen als vraag, klacht, potentiele klant en andere waardevolle informatie die helpt om je bedrijf aan meer (tevreden) klanten te helpen. We zien dat de kennis en interacties die in sociale kanalen verstopt zitten steeds meer gebruikt worden om op een andere manier zaken te doen”.

“Er wordt vaak alleen gekeken naar social media maar er is veel meer”, aldus Peter Aarts (Teezir). “Krant, radio en TV, STIR-data, callcenterdata, metadata, etc. Allemaal big data die door (sentiment)analyse doorgrond kan worden. Zodra je deze gecombineerde data gaat analyseren, zullen nieuwe inzichten ontstaan.” Aarts linkt deze koppeling van data aan het politieke speelveld: “Een politiek leider verspreekt zich bij De Wereld Draait Door. De volgende ochtend wordt dit uitgebreid verhaald in de landelijke dagbladen. Via Twitter ontstaat massa, op blogs en fora voert men discussie. Wat valt er te analyseren? Wat is het sentiment in de dagbladen versus het sentiment op Twitter? Zijn topics/inhoud gelijk aan elkaar? Bloggen mensen over de uitglijder van het kopstuk of over randzaken? Praten ze erover op fora? Ik zou het als spindokter allemaal willen weten!”.

Toekomst

Martijn Kriens concludeert in zijn terugblik dat tot een aantal dagen voorafgaande aan de verkiezingsdag de gekozen systematiek betrouwbaar bleek. “Resumerend kunnen we stellen dat het monitoren van sociale media vele kansen biedt om te gebruiken in de politiek. En daarbuiten. Het luisteren naar en analyseren van al die microboodschappen die worden verstuurd vanaf de bank thuis heeft absoluut waarde. We hebben alleen nog veel te leren hoe we die waarde in alle situaties moeten oogsten.”

Ondanks deze eerste wellicht hoopvolle resultaten is er ook kritiek. Van Gaalen: “Media nemen twitteranalyses over en twitteraars nemen berichten uit de media over, je kunt jezelf dus afvragen wat je aanmoet met al die tweets. Een goede analist kan daarentegen wel tot nieuwe inzichten komen op basis van trends en meningen in tweets en andere sociale kanalen. Daar zul je alleen aanvullend onderzoek naar moeten doen om deze inzichten te toetsen.”

Marco van de Kamp (Tracebuzz) vult aan: “Het is nieuws creëren en mensen laten zich er door beïnvloeden. Als de PvdA niet aan het stijgen was geweest in de peilingen, was de uitslag anders geweest, daar ben ik van overtuigd.”

Focus op kwalitatieve analyse

Peter Aarts beschrijft een mogelijke toekomst waarin social media een meer aanvullende rol zullen spelen. Zo kunnen accounts binnen verschillende sociale kanalen gekoppeld worden aan traditionele peilingen. Profielinformatie, maar ook datgene wat online gedeeld wordt, kan een gedetailleerder beeld en rijkere voorspellingen opleveren. Niet alleen de gesloten enquêtevragen, maar ook open vragen zijn in dat geval realiteit. “Persoonlijk denk ik dat onderzoeksbureaus social media-data moeten zien als een extra databron naast de data die zij al hebben uit bijvoorbeeld enquêtes.”

Met name meer aandacht voor de kwalitatieve analyse is een essentieel onderdeel van toekomstig onderzoek. “Social media zijn geen glazen bol”, aldus Alex van Leeuwen (Buzzcapture), “maar het wordt wel een geaccepteerd vast onderdeel bij nieuwsverslaggeving. Het uitkristalliseren hoe je een nieuwe informatiebron het beste inpast kost wel tijd en dat is wat er nu aan de gang is. In dat proces zullen social media-analisten en journalisten uit traditionele media nog wel wat leermomentjes krijgen.”

Zowel in het bedrijfsleven als in het politieke veld draait het om koppelen van databases en informatiestromen. Naast dat dit om geavanceerde (technische) systemen vraagt wordt de rol van de duider groter en vooral belangrijker. Natuurlijk is het begrijpelijk dat media deze nieuwe ontwikkelingen willen betrekken in hun verslaggeving. De manier waarop dit op dit moment gebeurt, voegt echter vrij weinig toe. Binnen de organisaties én ook in de (onderzoeks)journalistiek vraagt dit om een kwalitatieve social media-analist. Het slechts tonen van sentiment kan niet als voldoende worden beschouwd.

Yoshi Tuk
Freelance journalist en tekstschrijverWebsite

Werkzaam als freelance journalist en tekstschrijver. Schrijft onder meer over ondernemerschap, startups, tech en de online wereld. Heeft eerder gewerkt als social media analist en is tevens betrokken bij initiatieven met een focus op duurzaamheid. Doet dat o.a. met groene webhosting en energiezuinige computers.

Categorie
Tags

6 Reacties

    Michiel van Gaalen

    Leuk stuk geworden Yoshi. Ik ben nog wel benieuwd naar de mening van wat meer traditionele onderzoekspartijen.


    25 september 2012 om 07:05
    Alex van leeuwen

    Goed stuk Yoshi


    25 september 2012 om 08:30
    yoshituk

    Dankje Michiel! Is wel een artikel waard inderdaad!


    25 september 2012 om 10:10
    ilangbroek

    Hallo Yoshi,

    Wat een leuk stuk! Dank je wel.

    Bij deze een reactie van iemand van wat Michiel denk ik bedoelt met een ’traditionele onderzoekspartij’, alhoewel wij dat zelf graag iets anders zien 😉

    Bij Blauw zien we Social Media Research als iets wat alleen nog maar in waarde zal toenemen. Zo’n twee jaar houden we ons nu bezig met monitoring en de verschillende analyses die vervolgens gedaan kunnen worden op de verzamelde gegevens. In die twee jaar hebben we een hoop geleerd.

    In Yoshi’s stuk wordt gesproken over het onderscheid tussen buzz analyse als kwalitatief of kwantitatief instrument. Het is goed om je hierbij te beseffen dat dit onderscheid iets anders is dan ‘enkel tellen’ versus ‘de inhoud van buzz analyseren’. Kwantitatief onderzoek heeft veel meer te maken met de mate waarin de gevonden uitkomsten iets zeggen over de achterliggende populatie. En de mate waarin je zekerheid wilt hebben over de veelal getalsmatige uitkomsten (is het erg wanneer je er 5% naast zit?). Dit laatste bepaalt dan weer vaak waarom er zoveel data verzameld moet worden.

    Het feit blijft dat elk sociaal kanaal nog steeds in meer of mindere mate zijn eigen publiek trekt. En ouderen zijn nog steeds ondervertegenwoordigd. En het gebruik van social media hangt vaak samen met het te onderzoeken onderwerp. Een fictief voorbeeld (al hoewel het niet onvoorstelbaar is): Hoogopgeleiden zijn vaker actief op social media. Hoogopgeleiden stemmen relatief vaak Groenlinks. Het monitoren van de buzz over politieke partijen en dat als peiling gebruiken zal dus te positief uitvallen voor Groenlinks. Zo’n analyse zou ik dus niet via social media doen. je kan dan gaan wegen en corrigeren, maar er zijn gewoon betere methoden voor. Als je wilt weten of mensen nog een vaste lijn hebben ga je ook niet bellen uit het telefoonboek. Wij zien social media research dan ook als een vorm van kwalitatief onderzoek (maar dan soms op een schaal die vergelijkbaar is met kwantitatief onderzoek). Vanuit onze onderzoekservaring kunnen we aangeven in hoeverre resultaten wel of niet atypisch zijn en welk belang er gehecht mag worden aan de conclusies die wij trekken.

    Wat kan wel en niet via buzz analyse? Wij hebben ervaren dat zaken als campagne- en eventevaluaties heel goed via social media kunnen. met hele duidelijke voordelen ten opzichte van ’traditioneel’ marktonderzoek. En ook dat een inhoudelijke analyse van de buzz over je merk een ideale aanvulling is voor je brand tracker.

    Maar verwacht niet de diepgang te vinden die je wel bereikt in een individueel kwalitatief interview of groepsdiscussie. Wat je wel krijgt zijn authentieke, inspirerende, soms confronterende, directe informatie over talrijke onderwerpen. Persoonlijk vind ik het een veel meer inspirerende vorm van onderzoek dan vragenlijstonderzoek.

    De discussie over automatische versus handmatige sentimentanalyse vind ik een non-discussie. Handmatig is beter, want dit kan veel beter rekening houden met context en perspectief, ironie en doel van de analyse. Maar dat wil niet zeggen dat dit altijd de meest praktische oplossing is. Soms is automatisch ook goed (genoeg), gegeven het beoogd gebruik, en zeker sneller en goedkoper. Voor onze analyses, die veelal focussen op motieven en overtuigingen van mensen is handmatig vaak nodig. Dan analyseer ik liever een deel heel goed dan alles suboptimaal. En dat analisten niet altijd consistent zijn is waar, maar daar kan je mee omgaan (dubbel beoordelen, steekproeven controleren, codeframe gebruiken).

    Maar om antwoord te geven op de titel “wat is de toekomst van buzz onderzoek”. Die toekomst is mooi! Steeds meer bedrijven beseffen dat er door alleen te monitoren heel veel informatie verloren gaat, zien duidelijker het onderscheid tussen monitoren en analyseren, en zijn ook realistischer geworden over de mogelijkheden. Het gaat zeker niet al het huidige onderzoek vervangen. Maar soms kan het wel, en het is altijd een waardevolle aanvulling. De partijen die zich in de toekomst gaan onderscheiden op dit vlak zijn zij die het beste zijn in van ruis signaal te maken. Wij doen hard ons best om daar bij te horen.


    26 september 2012 om 11:15
    Michiel van Gaalen

    @ivo dit soort nuance zocht ik inderdaad. Ik vind jou (jullie) idd niet traditioneel. Dan is het nu nog even wachten op de écht traditionele bureau’s (waarschijnlijk krijgen die dit artikel uitgeprint van de secretaresse in de wekelijkse literatuurstapel)


    26 september 2012 om 11:32

Marketingfacts. Elke dag vers. Mis niks!