Wanneer je van web analytics pakket gaat wisselen is het noodzakelijk om stil te staan bij de consequenties die dit heeft voor de data die je rapporteert en analyseert. Ian Lurie heeft ervaring waar het gaat om het veranderen van analyticspakket en hij laat zien waar je rekening mee moet houden.

How many people here used WebTrends or something similar up until a few years ago?

How many switched to, say, Google Analytics, Omniture or Urchin 6?

OK, last question: How many of you nearly got fired when your visitors, pageviews or other metrics inexplicably plunged?

De verschillen in meetresultaten hebben niks te maken met slecht meten. Dit heeft volgens Ian alles te maken met Metric Madness. Metric Madness treedt op wanneer je van pakket wisselt en je organisatie niet inlicht over de gevolgen. Zo geeft Ian het voorbeeld van een wisseling van (een oude versie van) WebTrends naar Google Analytics. Na deze wissel was het aantal pageviews gemeten na één jaar gedaald met 10%! En dit terwijl gedacht werd dat het aantal pageviews zou stijgen omdat er veel tijd en geld in SEO was gestoken.

10% minder pageviews
December 2006 – WebTrends: 300,000 pageviews
December 2007 – Google Analytics: 270,000 pageviews

Waar zijn mijn pageviews?
De vraag die direct gesteld zal worden is: waar zijn de pageviews? Hoe kan het zijn dat we minder pageviews hebben, we zouden er juist meer moeten hebben!? Zijn ze verdwenen in een zwart gat? Zijn ze écht weg? Doen we iets verkeerd?

Het antwoord is ‘Nee’. WebTrends en Google Analytics meten op verschillende manieren, met een verschillende techniek. WebTrends meet aan de hand van logfiles (in het voorbeeld van Ian) en Google Analytics maakt gebruik van een javascipt tag. Deze verschillende technieken zorgen voor verschillende metingen.

Logfiles vs. Javascript
Een pakket dat gebaseerd is op het analyseren van logfiles zal alle opgevraagde pagina’s meten en de daarbij behorende bezoeker, ongeacht of de pagina bij het opvragen direct weer wordt gesloten. Alle pagina’s zouden helemaal geladen moeten worden om dezelfde uitkomst te krijgen van een pakket dat met javascript tagging werkt. Deze tag staat vaak onderin de pagina waardoor het sluiten van de pagina voordat deze volledig geladen is niet zal leiden tot een meting (van pageview en bezoeker). Daarnaast activeren spiders geen javascript. De pagina’s die deze spiders opvragen worden (wanneer je niks filtert) wel gemeten door pakketten die gebruik maken van logfile analyse.

De verschillen tussen de pakketten
Ian geeft een interessant lijstje van procentuele verschillen, waarmee je rekening moet houden wanneer je van het ene pakket naar het andere switcht.

From Urchin using UTM.js to Google Analytics: 20% drop
From Log file-only WebTrends or Urchin to Google Analytics: 30-50% drop
From Webalyzer to Google Analytics: 20-30% drop
From Google Analytics to Compete.com: 20-60% drop

Een mooie lijst, die gebaseerd is op de ervaringen van Ian zelf, het zijn zeker geen marktwaardes. Zijn er lezers die soortgelijke ervaringen hebben met andere pakketwisselingen?

Wanneer je inzichtelijk hebt wat een wisseling betekent voor je metingen kan je de organisatie inlichten en voorbereiden op de verandering. Daarnaast kan je cijfers van bijvoorbeeld Compete.com, Multiscope of Google Trends gebruiken om de overall trend te tonen. Deze pakketten zullen minder invloed ondervinden van de pakketwissel en zullen veelal een stijging laten zien, in plaats van een daling. Ook kan je altijd nog een analyse doen op basis van de logfiles van je site, of gebruik maken van een standaard statistiekenpakket dat je webhoster aanbiedt om aan te tonen wat er écht gebeurt.

Dus, geen paniek als je van pakket gaat wisselen, bereid je collega’s voor en gebruik third party tools als Compete, Multiscope of Google Trends om je verhaal te onderbouwen.

En als je wisselt van Google Analytics naar WebTrends?
Niks doen! Een stijging is altijd goed! 😉

Lees meer: Switching Web Analytics Tools Without Getting Fired (Ian Lury)