De grootste uitdaging bij een uitgebreide A/B test of een multivariate test is altijd het zorgen voor genoeg bezoekers in een bepaalde periode. Zonder een aanzienlijk aantal bezoekers kun je geen uitspraken doen over statistische significantie.

Voor een A/B test waarbij je de conversie op je webpagina met 20% wilt verbeteren van 5% naar 6% heb je in totaal al een kleine 9000 ruim 8000 bezoekers nodig om inderdaad aan te tonen dat het statistisch gezien klopt dat variant B inderdaad 20% beter converteert dan variant A. Zie hier het probleem met een nog redelijke beperkte 4 * 4 * 4 multivariatie test. Dit zijn 64 variaties. Elk element van 4 variaties kent op dat moment al 16 verschillende omgevingen. Dit betekent dat de doorlooptijd van je multivariate test vaak een aantal weken is. Probleem hierbij is weer om de omgeving stabiel te houden. In hoeverre hebben invloeden van buitenaf effect op de conversie?

De lengte van de test in relatie tot onstabiliteit van de omgeving is een bekend probleem, wat mij echter meer en meer opvalt is dat het lijkt dat de gevonden optimalisatiekansen na afloop van een test en doorvoer in de online omgeving niet altijd het verwachte effect hebben. Een effect dat m.i. niet alleen kan worden teruggekoppeld aan invloeden van buitenaf tijdens de test. Door de grote hoeveelheid benodigde traffic wordt een multivariatie test vaak uitgevoerd op al het bezoek tegelijkertijd én op algemene onderdelen van de website. Hoe dieper in de funnel, hoe minder bezoek immers. Random wordt aan groepen bezoekers een bepaalde variatie getoond.

Elke bezoeker heeft echter een eigen doel, een bepaalde intentie met zijn bezoek. De ene bezoeker kwam toevallig langs, de andere bezoeker zocht gericht naar bepaalde informatie en weer een andere bezoeker zit in een bepaalde fase van het koopproces. Voor elke website zijn al gauw 5 verschillende hoofdintenties te definieren. Hiernaast heeft elke bezoeker een bepaald dominant profiel (persuasion architecture, welke ik binnenkort eens nader zal toelichten in een apart artikel), wat elke groep weer in 4 soorten mensen indeelt, waarbij dan ook de leefomgeving / cultuur enerzijds en de internetervaring anderzijds invloed zal hebben op de ideale webpagina voor een bepaalde groep personen. Het aantal segmenten met een ideaal converterende webpagina loopt daardoor al gauw in de 5 * 4 * 5 * 5 = 500! Natuurlijk zal er horizontaal en verticaal overlap zijn voor de ideale converterende pagina van deze segmenten, maar op algemene pagina’s zal het aantal extreem verschillende groepen al gauw in de 25 lopen.

Op dat moment is voor mij de vraag: in hoeverre is bij mijn multivariatie test bij alle elementen de onderverdeling van deze 25 groepen evenredig? Convereert element A niet toevallig beter omdat een bepaald aantal segmenten hierbinnen toevallig significant dominant aanwezig waren? Is dit niet de reden dat wanneer je iedereen element A aanbiedt de conversie opeens minder hoog blijkt dat deze in de test was?

Is het niet heel onlogisch om alle bezoekers van je stenen witgoedwinkel te benaderen met hetzelfde verkooppraatje, het verkooppraatje dat blijkt aan te sluiten bij de meeste potentiële klanten en de andere andere potentiële klanten daarbij te verwaarlozen? Een goede verkoper past zijn salespitch immers aan aan de persoon die hij denkt voor zich te hebben. Dit is natuurlijk de basis van targeting, het gericht content serveren aan bepaalde segmenten van je webpagina bezoek. Dan wil je natuurlijk ook in je optimalisatie aan de gang met het optimaliseren van de webpagina voor een bepaald segment of een cluster van segmenten. Dit betekent dat je dieper in de funnel aan de gang gaat en hierdoor en door je segmentatie kunt testen op een aanzienlijk minder grote groep bezoekers. Je wilt niet weken wachten op een inzicht (ook door de instabiele omgeving).

De oplossing is in mijn ogen een lange reeks van overzichtelijke A/B/n testen voor specifieke segmenten bezoekers. Je testen focus je dan continue op dat element waarvan je verwacht dat het het meeste effect heeft voor de conversie van het segment waarvoor je test. Dit neigt zelfs naar de conclusie dat je eerst moet gaan zorgen dat je content op je pagina kunt tagertetten voordat je start met testen, of in ieder geval gebruik moet maken van en systeem dat in staat is om je test te targetten op een bepaald segment…