Gisteren kwam de Web Analytics Association Nederland met de publicatie van het white paper “Online Meetverschillen” (pdf) door de taskforce online media. Enerzijds wordt uitgelegd waarom er verschillen zijn in metingen tussen webanalytics pakketten, advertentie systemen en bronnen zoals de STIR bereiksmeting, anderzijds wordt er aanbevolen wanneer je wat moet gebruiken. De uitleg zal voor de ervaren gebruiker niet schokkend zijn en voor de minder ervaren gebruiker plezierig verklarend, maar in het rapport worden ook een aantal conclusies gemaakt die 2 interessante vraagstukken opleveren voor een webanalytics pakket selectie. Deze vraagstukken wilde ik jullie niet onthouden en gaven mij de inspiratie om met een conclusie te komen wat je webanalytics pakket nu eigenlijk echt goed moet kunnen.
Oud en nieuw
Vergelijk geen cijfers uit verschillende perioden die gemeten zijn met verschillende web analytics pakketten.
Zoals al eerder door TNO werd onderzocht zijn er aanzienlijke afwijkingen tussen verschillende webanalytics pakketten. De meetverschillen die kunnen ontstaan bedragen tientallen procenten en worden veroorzaakt door verschillende meetmethodieken, verschil in definities en de specifieke uitvoer van de implementatie. De conclusie wordt getrokken om geen cijfers te vergelijken uit verschillende perioden die gemeten zijn met verschillende pakketten.
Deze conclusie zou kunnen impliceren dat het bij een overgang van pakket A naar pakket B geen zin heeft om naar de historie te kijken zodra pakket B begint te meten en dat deze historie kan worden verwijderd. Niet doen! Het heeft inderdaad geen zin om uitspraken te doen over een direct vergelijk in bijvoorbeeld bezoekersaantallen, maar trends zijn trends. Er vanuit gaande dat je installatie van pakket A stabiel was, kloppen alle trendbewegingen. Het is zeer waardevol om zodra je nieuwe pakket B meet dat in een bepaalde periode het bezoek aanzienlijk toeneemt, dit te kunnen vergelijken met voorgaande jaren. Gebeurde dit altijd, is het een seizoensinvloed of niet? Het zou zonde zijn als je deze data niet meer zou kunnen opvragen. Je vergooit daarmee mogelijkheden voor interpretatie.
Ik wil wel zonder meer afraden om de moeite te nemen om alle detaildata uit het verleden te importeren van systeem A naar systeem B. Dat is vaak zeer tijdrovend en vergoot de kans op kromme vergelijkingen. Het beschikbaar houden van geaggregeerde data is daarentegen wel interessant. Bij een hele vooruitstrevende webomgeving zou dat geen probleem mogen zijn. Bezoekers herkenning loopt immers via het content publicatie systeem (voor targetting) en de webanalytics software is een voedingsbodem voor klantgegevens in het datawarehouse. De geaggregeerde data zit op een andere plek in de organisatie dan het webanalytics pakket. De vervanging van dit pakket geeft “slechts” een andere machine voor de detailinzichten.
Webanalytics pakket en campagne rapportage
Het advies is om ad management systemen primair te gebruiken voor voorraad (inventory van online advertenties) en campagnebereik en -effect.
Eén van de belangrijkere eisen vanuit eindgebruikers aan webanalytics pakketten is dat zij goed kunnen rapporteren over gedrag en conversie per bron en campagne. Het WAA rapport stelt echter geheel terecht dat een goede campagne rapportage alleen maar afkomstig kan zijn uit een ad-management systeem. Je wilt namelijk ook begrip over views en prijzen. Daniël Markus maakte eerder een mooi overzicht van het onderscheid tussen pre-click en on-site meetsytemen:
Zoals je ziet in de linkerkolom zijn er voor elk kanaal binnen online dat voor traffic kan zorgen aparte systemen om dit te managen. De afrekening van het succes van deze systemen ligt logischer wijs binnen het betreffende systeem zelf. We weten echter ondertussen dat we een (micro)conversie niet zomaar 1 op 1 mogen toekennen aan een bepaalde bron. Wanneer je echt wilt begrijpen wat de toegevoegde waarde van een campagne is op de omzet zul je met conversie attributie modellen moeten werken. Dit werkt natuurlijk niet goed wanneer er losse systemen worden gebruikt voor verschillende campagnes en maakt het webanalytics pakket de meest logische plek voor deze analyse. Je webanalytics pakket beschikt echter nagenoeg niet over de mogelijkheid om vertoningen (niet clicks) van campagnes te meten (voor display, search en social).
Dit maakt conversie attributie ook direct zo een lastig gegeven. Je mist en zult ook voorlopig de juiste gegevens bijven missen, om het verhaal vanuit het webanalytics systeem goed door te rekenen. Logischer is om te experimenteren met de verschillende kanalen en daarna het effect op het eindresultaat te vergelijken. Dit zonder een herkenning van een unieke bezoeker over alle campagne kanalen heen. Deze conclusie voert het webanalytics pakket terug tot de oplossing die wordt gebruikt voor het meten en rapporteren over on-site bezoekersgedrag. Waarbij het heel belangrijk is dat de rapportage tool (dit kan best een andere tool zijn dan de meettool) goed in staat is te rapporteren over de effecten van alle testen en targeting die je uitvoert op de webpagina.
Behalve dat je bij een pakketselectie de oude data niet hoeft over te zetten naar de nieuwe omgeving zou een gebrek aan een goede campagne rapportage geen struikelblok meer mogen zijn. Voor campagne beheer en rapportage heb je andere tools. Wat het echter moeilijk(er) maakt is dat alle verschillende pre-click systemen wel over ROI moeten rapporteren en dus moeten begrijpen wat de uiteindelijke conversie is. Hiervoor dien je vaak een tag op de conversie pagina(‘s) op te nemen. Dat is echter dubbel werk. Je webanalytics pakket meet dit al. Daarbij weet je als analist ook dat niet elk bezoek een conversie is, maar prima een microconversie kan bevatten. Elk stukje gedrag op de website heeft een bepaalde waarde. Dit is de reden waarom je juist ook je analytics tool gebruikt voor rapportage over (AB/MV) testen en targeting.
Wat moet je webanalytics pakket kunnen?
Vooral heel goed on site bezoekersgedrag kunnen meten (denk eens aan video gebruik, mobile en rich user internet opossingen), waarbij het kunnen meten eenvoudig te beheren moet zijn. De data moet daarbij zo worden opgeslagen dat eenvoudig segmenten kunnen worden gemaakt op basis van bepaalde kenmerken van de bezoekers. Je wilt waarde kunnen toekennen en bepaalde acties en daarna kunnen rapporteren over de waarde creatie van bepaalde segmenten. Deze data wil je eenvoudig kunnen exporteren naar alle pre-click systemen voor campagne beoordeling en anderzijds voor verrijking van je klantprofielen in je datawarehouse. Als het eigen rapportage, slice & dice en drill down en visualisatie systeem niet afdoende is voor het zichtbaar maken van informatie die leidt tot inzichten zal het webanalytics systeem alle gesegmenteerde data moeten kunnen ontsluiten voor een aparte rapportage en visualisatie tool.
