We leven in een tijdperk waarin de meest waardevolle hulpbron niet langer olie is, maar data. De belangrijkste voedingsbron voor de technologische ontwikkeling is data, data en nog meer data. Het aloude adagium “Meten is weten”, ontleend aan quotes van een natuurkundige wetenschapper in de 19e eeuw, is inmiddels een cliché geworden.

Ook onder webanalisten staat het meten van alles wat meetbaar is hoog in het vaandel. De Google Tag Manager goeroe Simo Ahava propageert het zelfs in zijn mantra “Context is King! Measure Everything!”. Toch is mijns inziens meer meten niet altijd beter. Alles willen meten brengt niet alleen kosten, maar ook andere nadelen en valkuilen met zich mee die in de tomeloze meet-drift vaak over het hoofd worden gezien.

Waarom we alles willen meten?

Ten eerste hebben we de behoefte om alles te meten omdat we, zoals hierboven al geschetst, in een tijdperk van data leven. Overal om ons heen wordt data-verzameling en -verwerking de hemel in geprezen en wanneer je dit niet doet laat je waarde liggen en zul je als organisatie achterblijven. Meer en meer beslissingen, hoe klein dan ook, willen we onderbouwen met data. We kijken op naar grote partijen die 41 tinten blauw kunnen A/B testen.

Ten tweede zijn we “better be safe than sorry”. Want wat als iemand volgend jaar wil weten wat het effect van deze zomercampagne was op de scroll-rate van de landingspagina en jij die informatie niet beschikbaar hebt?

En als laatste geeft het voldoening om iets te creëren. Iets wat anders niet had bestaan. Informatie over bijvoorbeeld klik-gedrag, dat anders voorgoed verdwenen zou zijn. Door jouw inspanningen sta je aan de wieg van splinternieuwe data, en zorg je ervoor dat dit voorgoed bewaard wordt. Daarnaast is het toch gratis. Waarom zouden we die grote event-store en 100 dimensies dan niet gebruiken?

Valkuilen van meer & meer meten

1. Kosten

Dataverzameling lijkt gratis in een tijd waar de daadwerkelijke kosten van opslag per Gigabyte nog maar een fractie zijn van de kosten van weleer. Maar met het exponentieel groeiend aantal mogelijke datapunten blijft het verzamelen en op lange termijn opslaan van extra data altijd een kostenpost, direct dan wel indirect.

Belangrijker nog; het opzetten van extra metingen kost tijd, soms veel tijd. Uren die een technisch webanalist of developer wellicht beter aan andere taken had kunnen besteden. Er moet een afweging gemaakt worden. Als je de uren die naar het verzamelen van extra data gaan, nu eens inzet voor een grondige gedragsdata-analyse (met weliswaar een iets kleinere data-set) of het oplossen van bugs? Wat levert het meeste op?

Met de toenemende complexiteit van dataverzameling en bovendien snel itererende development cycles, kost ook het onderhoud van goede dataverzameling steeds meer tijd. Hoe vaak is het niet voorgekomen dat bepaalde metingen ‘gebroken’ worden door een nieuwe release?

2. Privacy

Een tweede thema dat op gespannen voet staat met een zeer gedetailleerde dataverzameling en de analysemogelijkheden die de hoeveelheid data biedt, is privacy. Weinig doorsnee bezoekers zullen zich er van bewust zijn dat bedrijven in staat zijn om hun specifieke bezoek precies na te spelen, tot op elke muis en scroll beweging nauwkeurig. Maar de bewustwording en kritische houding van consumenten ten aanzien van dataverzameling en gebruik daarvan heeft inmiddels wel momentum gekregen. Ethische vragen komen naar boven; in hoeverre wil je bijvoorbeeld gevoelige gedetailleerde gedragsdata van jouw eigen potentiële klanten uit handen geven aan third party analytics bedrijven?

3. Meer data ≠ meer inzicht

Data gedreven beslissingen worden in het algemeen gezien als het betere type beslissing. Het is makkelijker om een discussie aan te gaan met een UX voorstel van een designer die op intuïtie handelt, dan hetzelfde voorstel waarbij argumentatie vanuit de waargenomen data gebruikt wordt.

Toch zijn er talloze valkuilen die ontweken moeten worden, om ervoor te zorgen dat inzichten uit de data daadwerkelijk in de buurt van de waarheid komen. Daarnaast kan meer data soms het risico op deze valkuilen eerder vergroten dan verkleinen.

Te veel data creëert ruis en leidt je af van het hoofddoel. Je zou als analist toch stom zijn om niet alle beschikbare data mee te nemen in de analyse? Maar naarmate je je verder suf analyseert op allerlei verschillende trends en bewegingen, raak je het overzicht kwijt. En om dan toch tot een coherent verhaal te komen, gaat je onderbewustzijn driftig aan de slag om allerlei rationalisaties en verbanden te bedenken – mede beïnvloed door je eigen verborgen assumpties en oordelen. Hoe meer data je tot je beschikking hebt, hoe groter de kans dat je data vindt (“cherry-picking”) die je eigen overtuigingen staven.

En dan heb ik het nog niet eens over de statistische gevaren van veel verschillende datapunten en uitkomsten met betrekking tot significantie.

Meer data voedt de nieuwsgierigheid, en andersom voedt nieuwsgierigheid de wens naar nog meer data. Maar hoewel nieuwsgierigheid en inzicht in elkaars verlengde liggen, bestaat het gevaar dat je door een overvloed aan data in de ‘nieuwsgierigheid’ fase blijft hangen. Hierdoor verlies je het overzicht en tijd voor reflectie die nodig zijn om daadwerkelijk tot bruikbare inzichten te komen.

Dan maar niets meten?

Nee natuurlijk niet. Maar wees wel kritisch op de data die je verzamelt. Kijk of het nog steeds past binnen het meetplan en de doelen waarop je stuurt.

En de volgende keer dat je extra data aan je implementatie wilt toevoegen, neem even de tijd en maak bewust de afweging: is het meten van dit extra datapunt de moeite en kosten waard? Verwacht ik redelijkerwijs dat het kan bijdragen aan echt actiegericht inzicht? Kan er echt iets gaan veranderen op mijn website op basis van (inzichten uit) deze data?

Maar als het puur en alleen is om je nieuwsgierigheid te voeden, en niets meer dan dat. Doe het dan gewoon een keertje niet.