Dit is een vraag die wij en vele andere webbeheerders graag beantwoord zouden willen hebben. Daarom heeft onze collega Rick Zomer een onderzoek gedaan naar de betrouwbaarheid van de positiebepaling in Google Analytics. Het is leuk om te zien welk gebied of plaats belangrijk is voor je site, maar dan moet je wel zeker weten dat de data betrouwbaar is.

We hebben een kleine enquête rondgestuurd waarin we gevraagd hebben naar de actuele plaats waar men zich op dat moment bevond. Om een statistisch betrouwbare uitspraak te kunnen doen met een foutmarge van 5% moesten er bij 6 miljoen Nederlandse huishoudens minimaal 385 enquêtes ingevuld worden. Uiteindelijk hebben we 428 ingevulde enquêtes in de database staan.

De betrouwbaarheid van de positiebepaling hangt nauw samen met de contracten die Google met de ISP´s heeft. De ISP´s leveren lijsten aan met IP adressen en hun bijbehorende locatie. Des te meer samenwerkingsverbanden Google heeft en des te vaker de lijsten geüpdate worden, des te betrouwbaarder de lokatie bepaling. Niet alle ISP´s werken mee, en IP adressen willen nog wel eens wisselen per pc, dus een betrouwbaarheid van 100% is onmogelijk. Op dit moment claimt Google een betrouwbaarheid van 80% te hebben.

De resultaten voor plaatsbepaling op plaatsen

We hebben de ingevulde enquêtes ook doorgemeten met Google Analytics. Hiermee konden we met een op maat gemaakt filter het volgende rapport naar boven halen (de waardes die je ziet zijn de ingevulde waardes met daarnaast de plaats die Google Analytics er bij vond):

Deze lijst hebben naar Excel gehaald en daar per bepaling gekeken of hij juist was. Plaatsen die exact overeen kwamen of maximaal 10 kilometer verder lagen golden als een goedkeuring. Daaruit ontstonden de volgende cijfers:

63% van de plaatsen werden goed bepaald
37% van de plaatsen werden niet goed bepaald

Als we vervolgens Amsterdam uit de resultaten halen komen we iets betrouwbaarder uit. Veel IP adressen zitten technisch gezien in Amsterdam, wanneer Google dus geen gegevens heeft van een IP adres wordt hij veelal aan Amsterdam toegekend. In de andere gevallen waar geen goede plaatsbepaling gedaan kon worden gaat het dus om verouderde lijsten van de ISP´s. Resultaat:

66% van de plaatsen werden goed bepaald
34% van de plaatsen werden niet goed bepaald

De resultaten voor plaatsbepaling op provincies

Vaak worden er analyses gedaan voor bepaalde provincies en niet zozeer voor specifieke plaatsen. We hebben dus ook gekeken wat de betrouwbaarheid is puur per provincie bekeken. Dit is direct al een flink stuk dichterbij Google´s statement van 80%:

77% van de provincies werden goed bepaald
23% van de provincies werden niet goed bepaald

Conclusie

Zoals eerder gezegd: 100% betrouwbaarheid is praktisch onmogelijk, maar het streven hier zo dicht mogelijk bij te komen is een mooi doel. Daar liggen ook nog zeker kansen voor Google. Daarnaast mag gezegd worden dat de positiebepaling bij provincies met een 77% betrouwbaarheid goed genoemd kan worden. Wat is jullie ervaring?