In december woedde online een hevige discussie over de onvervulde beloften van web analytics. Aanleiding waren 2 posts van Joseph Carrabis, genaamd, ´The Unfulifilled Promise of Online Analytics´

Hierin presenteert Carrabis de resultaten van een studie die zowel bestond uit interviews met gebruikers als conversaties met specialisten.

De uitkomsten zijn overwegend negatief.

1. Web Analytics software levert inaccurate gegevens en is moeilijk in het gebruik
2. Web analisten spelen een ondergeschikte rol in organisaties
3. Web analytics draagt nauwelijks bij aan de verbetering van online rendement

Een echte verklaring levert Carrabis niet. Wel interessant in de enorm lange posts (bij elkaar ruim 11.000 woorden – 30 X A4) zijn de analyse hoe het zo heeft kunnen komen en wat de mogelijke uitweg is.

Belofte

Web Analytics was in de jaren 2002 – 2008 het vak van de toekomst. De data zou een constante stroom van inzichten opleveren. Die inzichten zouden leiden tot allemaal waardevergrotende initiatieven waarmee organisaties zouden bloeien. Vanzelfsprekend zouden web analisten zich kunnen opmaken voor het pluche van de bestuurskamers.

Analyse

Van al dat zelfvertrouwen is weinig meer over. Carrabis beschrijft Web Analytics als een patiënt met een slechte prognose waarvan bovendien onduidelijk is welke ziekte hij nu heeft.

Als, Als, Als
Deze zwarte conclusie wordt bekrachtigd door uitspraken van analisten waarin ze hun frustraties verklaren met allerlei ´als´ argumenten. ´Als de software correct zou meten´.´Als het management ons serieus zou nemen en onze adviezen zou opvolgen´. ´Als online marketers en content managers wat meer data driven zouden werken´. Als het allemaal anders was dan zou het veel succesvoller zijn.

De verklaring wordt hiermee gezocht bij anderen en in de techniek.

Vaardigheden schieten tekort
Een ander probleem zijn de vaardigheden. Wat moet een analist allemaal kunnen om effectief te kunnen opereren? Analytisch, communicatief, kennis van online marketing, web architectuur, copy writing en web design, wetenschappelijke onderzoeksvaardigheden, statistiek, branche kennis, kennis van bedrijfseconomie en finance, kennis van change management.

Dit lijstje is moeiteloos langer te maken door de meeste betrokkenen in de web analytics wereld. En daar zit nou juist het probleem. Deze vaardigheden zijn niet in één persoon te verenigen. Bovendien is de combinatie vrijwel onhaalbaar in één persoon en al helemaal moeilijk in het profiel van de meeste huidige analisten: HBO+, 30-, starter of doorstarter op de arbeidsmarkt.

Software en systemen beheersen de analist in plaats van omgekeerd
Beheersing van de software en systemen vormt eveneens een obstakel. Een eenvoudige analogie met autorijden illustreert dit probleem. Auto´s hebben een dashboard en een bestuurder kan daarmee prima uit de voeten. De bestuurder komt van A naar B en weer terug. Autocoureurs hebben een vergelijkbaar dashboard, maar met dat dashboard zouden ze geen enkele wedstrijd winnen. Coureurs weten ook exact wat zich allemaal onder de motorkap afspeelt. Alleen door deze domeinkennis kunnen ze excelleren.

De meeste analisten zijn te vergelijken met gewone autobestuurders terwijl iedereen ze ziet als autocoureur. De meeste analisten zien zichzelf vaak ook zo. Toch kunnen veel analisten vaak geen verklaring geven voor grote schommelingen in de data: komt de spike door een test op de server of een campagne? Komt de dip door een concurrent of een missende tag?

Door dit gebrek aan controle gaat veel tijd verloren aan het opzetten van rapporten en het verifiëren van de onderliggende data. Van waardecreatie door analyse en interpretatie is nauwelijks sprake.

Oplossingen

Bovenstaande analyse toont enkele symptomen van de zieke Web Analytics patiënt. Maar een diagnose is moeilijk. Moet de communicatie verbeteren? Moet Web Analytics rijpen en zijn plek vinden in het organisatorische krachtenveld?

Na het lezen van de posts van Carrabis moest ik denken aan de Hype Cycle van Gartner. Het is duidelijk dat Web Analytics zich voor Carrabis bevindt in de ´Through of Disillusionment´.

Carrabis komt aan het einde van zijn laatste post nog met enkele adviezen aan analisten. Deze zouden een stap in de goede richting kunnen zijn op het pad van de verlichting:

• Kom met duidelijke uitspraken en geef altijd richting. Ga je lezers niet inleiden in zaken over onzekerheid of onduidelijkheid. Neem gewoon verantwoordelijkheid voor wat je zegt.
• Analyseer concrete problemen, niet alleen informatieverzoeken. Te vaak wordt gevraagd naar de resultaten van campagne X of actie Y. Het is veel beter om iets op te leveren over de gemiste kansen van campagne X of de low hanging fruit voor actie Y.
• Praat de taal van je managers. Als die denken in ´volume´, praat dan over ´Volume´ en als ze in Euro´s praten, zorg dan dat jouw rapportage om Euro´s draait.
• Beschrijf kansen of oplossingen en verlustig je niet in oneindige analyses van problemen.

Op Web Analisten kunnen we natuurlijk niet stil blijven in deze discussie. Delen jullie de observaties van Carrabis? Zo ja, hoe heeft het zover kunnen komen en wat kunnen we allemaal doen om het pad van verlichting te betreden?