Wanneer je al regelmatig hebt geprobeerd de conversie van je webpagina te verbeteren door je hypotheses te toetsen met A/B of multivariatie test software, zul je gemerkt hebben dat niet elke wijziging leidt tot significante conversie verschillen. Eerder schreef ik over de onzinnigheid van het testen van details, maar al gaandeweg heb ik ook geleerd dat een conversieverschil vaak niet voor de totale populatie zichtbaar is, maar binnen segmenten des te meer.

Segmenten maken het verschil

Zoals recent beschreven in “Einde aan het poldermodel conversie pagina´s” kun je er dus zomaar tegen aanlopen dat je wel 2 dramatisch verschillende variaties uittest via AB test software, maar dat er geen duidelijke winnaar is. Wat voor het ene deelsegment bezoekers binnen de test beter werkt, blijkt vaak juist slechter te werken binnen een ander segment. Deze segmenten houden de totale conversie dan in evenwicht.

Gedragsverschillen

Deze gedragsverschillen zie je met name in dag en tijd (kantoortijd surfgedrag is wezenlijk anders dan surfgedrag in het weekend), herkomst (bijvoorbeeld zoekmachine, vergelijkingssite of juist type-in bezoek) en de hoeveelste maal men de pagina bezoekt. Zorg er dus voor dat je bij het bepalen van de winnaar in staat bent om de resultaten per dit soort segmenten te bekijken. Je zou zomaar een goede variant kunnen verwijderen wanneer je niet in deze details duikt. Must is natuurlijk ook om over een systeem te kunnen beschikken dat de winnende variatie voor een bepaald segment continue kan uit serveren.

Nog geen significante winnaar?

Zelfs met deze segmentatie zul je in testen die met name zijn bedoeld om tot een betere usability te komen er nog tegen aan lopen dat er ook binnen de segmenten geen duidelijke winnaar waarneembaar is. Met name bij het uittesten van variaties aan het begin van de conversiefunnel is het probleem dat het conversiepunt waarvoor je optimaliseert zo lastig is te meten, of nog zo ver weg in de funnel ligt dat de invloed van de betreffende te testen pagina op de eindconversie te klein is.

Enquete!

Sinds kort ben ik daarom ook links en rechts bij klanten begonnen met het uitvoeren van een enquete tijdens dit soort testen. Elke variatie krijgt een per variatie herleidbare zelfde enquete te zien met vragen ten aanzien van de (in dit geval) usability. Deze enquete wordt als uitnodiging getoond aan een percentage van de bezoekers die een bepaalde test pagina voor een bepaald aantal maal hebben bezocht (zodat ze ook een mening kunnen hebben over deze pagina). Door deze opzet is te herleiden of het tonen van de enquete uitnodigings layer effecten heeft op de conversie (in vergelijking met de bezoekers die deze uitnodiging niet te zien krijgen). De vragen in de test zijn beoordelings / meningsvragen. Resultaat is dat je na afloop van de test kunt beschikken over een vergelijkbare score middels een kwalitatieve test en deze kan verassende inzichten geven. De variant met dezelfde conversie, maar de betere usability beoordeling zal immers om de langere termijn een betere conversie opleveren?