NPS 3.0, Ratio en Emotie

Tekstanalyse laat de emotie achter de verhalen zien.

Ondanks dat de Net Promoter Score wereldwijd een van de meest gebruikte indicator is voor het verbeteren van klantenloyaliteit/tevredenheid is er een (groeiend) aantal tegenstanders die de relatie tussen de NPS en klantloyaliteit ter discussie stellen.

Een punt van kritiek is dat de “aanbevelingsvraag” alleen niet voldoende is voor een volledig beeld ten aanzien van klantenloyaliteit.

In deze blog richt ik mij op een aanvullende methode die dit bezwaar ondervangt, namelijk geautomatiseerde tekstanalyse. Hiervoor zal aan de ‘single question’ een optie toegevoegd moeten worden waarin klanten een open toelichting op de score (open-tekst vraag) kunnen geven. Door gebruik te maken van geautomatiseerd tekstanalyse worden open toelichtingen omgezet in actionable informatie. Het toevoegen van tekstanalyse aan de NPS helpt organisaties bij het verbeteren van de NPS door het nemen van gerichte actie.

Wat betreft de waarde van de NPS sluit ik mij aan bij de mening van mijn collega blogger ‘Sydney Brouwer’ die in zijn blog ” NPS, hoe het wel moet” stelt dat het niet om de score gaat maar om het systeem. Naar mijn mening zit de waarde van de NPS ook niet in de score zelf maar in het realiseren van een klantgerichte bedrijfscultuur waarbij klantenfeedback wordt gebruikt om de dienstverlening te verbeteren.

De NPS is waardevol bij het realiseren van een klantgerichte cultuur, de kracht van tekstanalyse ligt meer bij het genereren van actionable informatie.

Van NPS naar actionable informatie

Zowel tekstanalyse als NPS geven het beste resultaat wanneer de feedback eerst gecategoriseerd wordt naar afdelingen/personen die er ook daadwerkelijk actie op kunnen ondernemen. De categorieën zijn afhankelijk van de organisatie en de specifieke behoeften. Voorbeelden van indelingen zijn, naar:

• product/merk
• customer journey/touchpoints
• regio
• business Unit
• etc

Een product manager zou bijvoorbeeld niet alleen willen weten wat de NPS van zijn product is maar ook wat nu precies de aspecten zijn die ervoor zorgen dat klanten Promoters of juist Criticasters worden. Dit is nu juist de informatie die tekstanalyse geeft. Wanneer het product een fotocamera betreft zou tekstanalyse de volgende features (topics) kunnen weergeven:

• kwaliteit foto’s
• opties
• gebruikersgemak
• batterijduur
• zoomfunctie
• etc

Door vervolgens voor iedere topic de sentimentwaarde te berekenen, geeft het inzicht in de positieve en negatieve aspecten van het product/dienstverlening. Het geeft een meer gedetailleerd beeld dan alleen de score.

Door de belangrijkste topics en het bijbehorend sentiment aan de hand van de scores in te delen naar de NPS-categorieën (Promoters, Passieven, Criticasters), krijgt men inzicht in de topics die voor Promoters en die voor Criticasters zorgen. In onderstaand grafieken staat een voorbeeld van sentimentanalyse op topic niveau voor een hotel. Uit de eerste grafiek zijn de verbeterpunten af te leiden en uit de derde grafiek de succesfactoren.

Natuurlijk kun je teksten uit de open toelichting handmatig analyseren. Maar bij grotere aantallen wordt dit al snel een tijdrovende en dure klus. Tegenwoordig zijn er goede tekstanalyse systemen op de markt die dit geautomatiseerd doen, ook in de Nederlandse taal. Om het sentiment op topic niveau te bepalen zou een geautomatiseerd systeem onderstaande stappen moeten doorlopen.

• tekstuele toelichting opdelen in zinnen
• Iedere zin taalkundig ontleden en ieder woord een POS-tag meegeven
• De ‘Topics’ bepalen
• Topics koppelen aan ‘sentimentwoorden’
• De sentimentwaarde van sentimentwoorden bepalen aan de hand van een sentimentwoordenboek

Verband tussen NPS en sentimentanalyse

We hebben aan de hand van een databestand met 5000 hotel reviews onderzocht of er een verband bestaat tussen de gegeven score op de aanbevelingsvraag en het sentiment van de open toelichting. De scores lopen van 0 t/m 10 en de sentimentwaarden van -3 t/m +3. Met behulp van een correlatie analyse hebben we een correlatie-coëfficiënt gevonden van 0,58. Dit cijfer geeft aan dat er sprake is van een (licht) verband tussen NPS en sentimentwaarde.

Een verklaring dat de sterkte van de correlatie-coëfficiënt niet hoger is, kan worden verklaard uit het gegeven dat respondenten de score gebruiken voor een ‘overall’ waardering en dat de open toelichting wordt gebruikt om de tevredenheid over meer specifieke ervaringen toe te lichten.

Uit onderzoek van de Universiteit van Amsterdam blijkt namelijk dat score en sentiment van de bijbehorende teksten niet altijd overeenkomen. Zie onderzoek.

Dit fenomeen zien wij ook in onze data met betrekking tot de NPS vraag. Als voorbeeld nemen we onderstaande toelichting op de NPS. De respondent die de onderstaande toelichting heeft geschreven gaf met een waarschijnlijkheid van ‘9’ aan het bedrijf aan te bevelen. Deze score komt niet overeen met het sentiment van de tekst.

Onze ontvanger (bijna nieuw) functioneert niet goed. Zo af en toe krijgen wij geen beeld als wij overschakelen van radio naar t.v. Graag zien wij dat jullie dit probleem verhelpen.

De score van ‘9’ geeft aan dat de respondent erg tevreden is terwijl de tekst een negatief sentiment laat zien. Een verklaring kan zijn dat de respondent in totaliteit erg tevreden over het bedrijf is maar zich in de toelichting richt op een probleem dat hij graag verholpen ziet.

Conclusie

De werking van NPS in combinatie met tekstanalyse kan vergeleken worden met de werking van ons brein. De NPS vertegenwoordigt de rationele linker- en tekstanalyse de emotionele rechter helft.

De NPS geeft kort en krachtig weer hoe het met de klantloyaliteit is gesteld en krijgt voornamelijk waarde wanneer het vergeleken wordt met andere scores of tijdperiodes. Tekstanalyse is de emotionele rechterhelft en duidt de emotie acher de verhalen aan.

De NPS leent zicht uitstekend voor strategische beslissingen terwijl de toegevoegde waarde van tekstanalyse meer op tactisch niveau ligt. Net als onze hersenen vormt de NPS en teksanalyse een twee-eenheid waarbij ratio en emotie samenwerken om tot een optimaal resultaat te komen.

Door de NPS aan te vullen met tekstanalyse krijgen organisaties een krachtig middel in handen om te sturen op klantenloyaliteit.