Net als in het begin van het jaar toen de Intelligence Group (IG) de beste recruitment site uitriep, is bij hun recente persbericht over de meest gebruikte vacaturesite wederom de nodige commotie ontstaan over de vraag hoe relevant en betrouwbaar de informatie is. In de top 50 (PDF) staat Monsterboard wederom op nummer 1. Op zich is dat niet verassend. Maar een felle discussie kwam los op verschillende weblogs over het nut van de informatie en de betrouwbaarheid van de manier van onderzoek. Totaljobs bracht vervolgens een bericht uit, o.a. opgepikt door Emerce en personeelslog, over de achterhaalde onderzoeksmethodiek van IG.
Wat is nu de kern van het verhaal? Het onderzoek van IG meet de bekendheid van vacaturesites door in een open vraag te vragen welke site men verwacht te gaan gebruiken bij de zoektocht naar een baan. “Top of mind bekendheid” is de marktonderzoekersterm die hiervoor gebruikt wordt. Totaljobs bestrijd dat dit een voor recruiters nuttige informatie is, immers, het rendement komt volgens hem door daadwerkelijk bezoek aan een vacaturesite, niet de bekendheid. En ergens kan je hen daar natuurlijk geen ongelijk in geven.
“Het AGO-onderzoek werkte prima vóór het internet-tijdperk, maar is nu toch echt achterhaald”, aldus Mark van de Sande van Reed Business in een reactie bij Personeelsnet. “Sommige vacaturesites gebruiken vooral internetmarketing om traffic naar de vacatures te trekken. Volgens Van de Sande meet het AGO-onderzoek niet het gebruik, maar slechts de bekendheid van de vacaturesites: “Het AGO-onderzoek is misleidend en wordt niet meer serieus genomen”. Van de Sande verwijst naar onderzoek dat “daadwerkelijk internet gebruik” meet, zoals het STIR en Comscore. Hoewel ook hier Monsterboard op 1 staat zit Totaljobs volgens de comscore lijst op de derde plek (12e in de IG lijst) en bijvoorbeeld Jobbingmall op de 9e plek (tegen de 47e in het IG onderzoek).
Tevens onderwerp van discussie is de 1,9% die Google aangeeft in het IG onderzoek, terwijl de praktijk uitwijst dat dit veelal veel beter is. Wat ook Mark van de Sande van Totaljobs indirect aangeeft door aan te merken dat ze veel traffic halen uit SEO en SEM. Marc Drees maakt hier op Recruitingfacts ook een punt van.
Eén van de kern problemen in deze discussie is waarschijnlijk dat de digitale media marktonderzoek een nieuwe dimensie hebben gegeven. Een aantal zaken hoeft niet meer gemeten te worden door een steekproef, maar gewoon echt in harde cijfers gemeten kunnen worden. Wat dat aangaat is het niet de eerste flater die IG slaat. In april kwam men met een bericht waaruit bleek dat veel Hyvers open zouden staan voor een nieuwe baan. Wanneer de cijfers echter werden doorgerekend had Hyves ineens 500.000 tot 600.000 meer profielen in de arbeidsmarktpopulatie (18+) dan Hyves in totaal (incl. 18-) had. In juni kwam men met een artikel dat 94% van de gebruikers van linkedin werknemer in loondienst zou zijn, waarbij men in de steekproef geen freelancers of ondernemers had meegenomen. Beide onderzoeken waren gebaseerd op een steekproef, die onnodig was omdat de echte cijfers opvraagbaar zijn.
Dat is waarschijnlijk ook wat Mark van de Sande bedoeld met zijn ‘werkte prima in het vóór internet tijdperk’ opmerking. Natuurlijk moest je vroeger (o.a. vanwege meelezers) onderzoeken hoeveel lezers een krant of tijdschrift had. Maar bij websites kan je dit in echte getallen meten. Natuurlijk moet de site meewerken en is er veel discussie geweest over de betrouwbaarheid van deze informatie. Maar gelukkig is er met de STIR een instituut in de markt gezet dat dit onafhankelijk en objectief doet. De volgende stap hierin is, hopelijk, dat alle (of in ieder geval veel meer) sites worden opgenomen bij de STIR. Immers, de groei van de niche sites die IG nu ziet, is bij STIR niet meetbaar omdat deze sites niet worden meegenomen. Maar het is wel een waardevolle trend.
De reden waarom de discussies nu zo fel opladen lijkt duidelijk. Er wordt informatie verspreid die een twijfelachtig nut heeft, maar waar helaas de traditionele journalistiek geen vraag bij stelt en derhalve klakkeloos overschrijft. Vooral de interpretatie die wordt gegeven aan de informatie, zoals monster die zichzelf op basis van bekendheid ook meteen ‘de meest gebruikte vacaturesite’ noemt is storend. Ze zijn het wel, maar op basis van het IG onderzoek kan je dat helemaal niet stellen. Recruiters baseren vervolgens de verdeling van hun advertentiegelden op basis van dergelijke ‘lijstjes’ en dat kost vacaturesites die niet bekend zijn, maar wel veel traffic hebben geld.
De vraag is dus: wat is het meest nuttig voor een recruiter om te weten? Waarschijnlijk waar hij of zij het beste rendement kan halen. Natuurlijk zou je dat het liefst meten via aantal sollicitaties, maar dit meten recruiters zelf helaas maar heel beperkt. Dus dan moet je voor een tweede keus gaan en dan is de traffic die een vacaturesite heeft relevanter dan de bekendheid. Uiteraard zouden recruiters eigenlijk zelf hier helemaal niet op moeten varen, maar gewoon moeten meten waar hun ‘hires’ vandaan zijn gekomen en op basis hiervan hun beleid uitzetten. Waarbij natuurlijk ruimte moet zijn voor experimenten met ‘nieuwe’ vacaturesites (bijvoorbeeld niche boards) en Google Adwords.
