Deze week zat ik aan tafel met een aantal collega webanalisten en daar werd besproken hoe eenvoudig het was om fouten te maken bij het uitvoeren van een AB test. Fouten die zorgen voor verkeerde interpretatie van gegevens en daardoor verspilling van geld en goede mogelijkheden…

Als voorbeeld werd onder andere genoemd dit artikel van een jaar geleden: onjuiste aanname bij gebruik Google Website Optimzer. Ik vertelde tijdens de bespreking 2 werkmethoden die ik binnen testen altijd aanhoud en die bleek voor een aantal mensen niet bekend te zijn. Ik deel ze graag met jullie:

Maak ook altijd een extra originele variant aan

Bij een test is er altijd een “default” versie. De originele variant waarvoor je voor (een segment van) bezoekers een beter werkende versie probeert te maken. Ongeacht de tool die ik gebruik maak ik altijd een controle variant aan (versie A). Elke tool heeft wel zijn of haar eigen “kuren” en ik wil zeker weten dat ik mijn nieuwe varianten (B, C, D etc.) toets tegen een stabiel gegeven. Wat vaak meespeelt is dat het bezoek dat de originele variant krijgt te zien, dit kan krijgen omdat het niet lukt om deze bezoeker een andere variant te geven, waardoor deze originele variant een afwijkende groep bezoekers ontvangt. Ander belangrijk punt is dat een redirect naar een variant (en een refresh van een element) een wijziging in de user experience is, waardoor het niet juist is om te testen tegen een variant waar dit niet gebeurd. De extra aangemaakte kopie van het orgineel geeft wel dezelfde user experience als de echte te testen variaties.

Zie hier de resultaten in Google Analytics van een test met Website Optimzer waarbij duidelijk te zien is dat het origineel veel meer bezoekers heeft gekregen dan de kopie test versie (die wel evenveel bezoekers ontving als de overige varianten):

Na afloop van de test (2 weken doorlooptijd, minimaal 150 directe conversies per testvariant houd ik altijd al leidraad aan) ga ik zelf met Excel aan de slag om de varianten statistisch te toesten tegen die A variant (en niet tegen de default variant).

Beoordeel je test niet op 1 conversiepunt

Veel test tools bieden statistieken aan. Zij beoordelen je test op basis van het conversiepunt dat je zelf hebt opgegeven en laten dan niet zien wat alle andere effecten op de betreffende bezoekers zijn. Vaak kun je ook maar 1 conversiepunt opgeven of wordt er niet de moeite genomen om meerdere conversiepunten aan te maken (en daar vooraf goed over na te denken).

Zoals je al in de tabel hierboven ziet koppel ik een test altijd aan het webanalytics pakket. Ik zorg dat ik bezoekers van een bepaalde variant kan oproepen als segment en ga op basis daarvan alle variaties verglijken. Een stijging van conversie op product A door test variant B kan immers hebben geleid tot een daling van conversie op product C… Daarbij zijn veel testen niet dicht genoeg aan het einde van de conversiefunnel waardoor het veel belangijker is om te bepalen wat bijvoorbeeld de stijging in engagement is. Hiervoor heb je veel soorten webanalytics data nodig (tijdsduur, micro conversie, terugkeer etc.).

Bekijk dus goed alle data voordat je een oordeel velt. Een eindrapport van een test zonder eigen rekenwerk moet zonder meer altijd kritisch worden bekeken!