In deel 1 introduceerde ik Webanalytics bij Tweakers.net. In deel 2 vertelde ik meer over hoe we de inzichten uit webanalytics toepassen. Vandaag vertel ik alles over het verbeteren van sleutelpagina’s en A/B-testen bij Tweakers.

Sleutelpagina’s verbeteren

Een van de sleutelpagina’s op Tweakers is een pricelisting pagina; de pagina waarop een bezoeker de prijzen van een product van verschillende webwinkels vergelijkt (en hopelijk vervolgens naar een webwinkel gaat). Ook op deze pagina biedt Tweakers zijn gebruikers verschillende filter mogelijkheden aan. De vraag is alleen worden de filters eigenlijk wel gebruikt en leiden ze niet af van het doen van een conversie (bezoek aan website van een webwinkel)? Om even alleen op het eerste in te gaan (we gaan tenslotte niet teveel prijsgeven 😉 ). Het blijkt dat slechts een paar procent van het verkeer op deze pagina überhaupt een filter gebruikt en dat de filter met betrekking tot locatie zelfs minder dan 0.10% gebruikt werd. Je kunt je misschien afvragen hoe deze filter er ooit in is in gekomen en het antwoord is heel simpel. Iemand dacht dat het belangrijk was en niemand heeft er eigenlijk ooit naar gekeken.

Gelukkig is het met Webtrekk mogelijk geworden om diepgaande analyses gemakkelijk uit te voeren en wordt dit ook daadwerkelijk gedaan. Al deze kleine dingetjes bij elkaar zorgen ervoor dat de gebruikerservaring van bezoekers omhoog gaat en dat onze conversie op peil blijft in deze barre economische tijden.

A/B test

Bij Tweakers worden ook A/B testen uitgevoerd. Dit gebeurt niet met een externe tool vanwege de lagere laadtijden. In plaats daarvan wordt een intern ontwikkelde tool gebruikt die volledige geïntegreerd is met de back-end systemen van Tweakers. Een bijkomstig voordeel is dat een bezoeker ook moeilijker kan achterhalen dat hij onderdeel van een test is. Met verschillende plugins is het ondertussen vrij gemakkelijk om te zien of er bijvoorbeeld een test met Optimizely of Visual Website Optimizer draait (en welke variant je ziet of wilt zien). Nu zal dit voor de meeste website weinig impact hebben, maar de Tweakers doelgroep is nogal tech-savvy en wil nog wel eens een geintje uithalen (lees: de test beïnvloeden).

A/B testen gebeurt trouwens met enige voorzichtigheid. Door de volumes die Tweakers aan bezoeken heeft, en geen geld hoeft te betalen voor de omvang van het aantal geteste personen, is de onderzoekpopulatie ruim voldoende. Een grote onderzoekspopulatie zorgt er echter ook voor dat de betrouwbaarheid van de test omhoog gaat. Dit lijkt heel gunstig, maar er zijn ook nadelen. Zo hebben we een test uitgevoerd met het weghalen van een link uit de footer. 50% van het verkeer zag wel de link en 50% zag de link niet. De resultaten lieten een conversiepercentage van X,72% met link en X,75% zonder link. Op het eerste gezicht lijkt er geen verschil, maar ga je alle statistische waarden uitrekenen dan blijkt het verschil significant op .975 (N=8.000.000). In theorie zou het ook een flink bedrag per jaar opleveren. Toch wordt de link niet weggehaald uit de footer. De link verwijst namelijk naar een andere dochter van de Persgroep (het moederbedrijf van Tweakers). Bovendien is het lastig iemand te overtuigen dat het verwijderen van een link uit de footer tientallen euro’s per jaar gaat opleveren, hoe overtuigend de statistieken ook zijn.

Met andere woorden, een grote onderzoekspopulatie maakt de test betrouwbaarder, maar niet gemakkelijker om te interpreteren. Het laatste woord “interpreteren” is trouwens cruciaal met betrekking tot testen bij Tweakers. Een Hippo is geneigd om te denken dat een A/B test een uitsluitend resultaat geeft mbt welke variant gebruikt moet worden. Helaas is dit niet zo in de werkelijkheid. De resultaten van een A/B test zijn eigenlijk nooit zwart/wit, maar bevatten altijd verschillende tinten grijs. Uit ervaring weet ik dat dit niet alleen het geval is bij Tweakers, maar ook bij verschillende andere websites.

Hoe wordt hier nu mee omgegaan bij Tweakers? De resultaten van een A/B test worden altijd in de juiste context gezet (zoals het hoort bij elke webanalyse, zie eerdere opmerkingen). Er wordt goed gekeken naar wat is er nu precies gezegd is. Ook wordt er bekeken of de resultaten binnen het kader van de verwachtingen passen? Zo nee, of zo ja, is er logica achter de resultaten te vinden? Mochten de resultaten erg onverwacht zijn, dan wordt de test herhaald of de winnende variant wordt tijdelijk live gezet om vervolgens goed te meten wat de effecten zijn. Mocht ik het persoonlijk erg ons eens zijn dat een winnende variant live wordt gezet, dan zorg ik ervoor dat de volgende keer de resultaten anders zijn* (Dit is een grapje natuurlijk :)).

*Met het systeem van Tweakers is dit trouwens lastig te doen, bij tools zoals Optimizely en Visual Website Optimizer is trouwens gemakkelijker. Maar laat ik dat maar niet vertellen…