Voordat je start met een experiment is het belangrijk dat je weet hoe groot je sample size moet zijn. Helaas kunnen we niet op al onze bezoekers testen en is een sample nodig om van het totaal aantal bezoekers een representatieve groep te kiezen. Maar hoe kies je zo’n groep? En hoe groot moet deze groep zijn? 

Er zijn verschillende calculatoren beschikbaar om dit te berekenen. Bij de meeste calculatoren vul je de verwachte uplift van de verandering, het conversiepercentage en het significantie niveau in. De inschatting van de verwachte uplift, of het Minimal Detectable Effect (MDE) is alleen een lastige. Want hoe kun je van te voren inschatten of de test een winnaar wordt? En als het dan een winnaar is, wat je verwacht dat de uplift gaat zijn? 

Daarom hebben we een calculator gemaakt die deze vragen eigenlijk omdraait. Deze calculator geeft antwoord op de vraag: kunnen we met deze aantallen eigenlijk wel A/B testen? En zo ja, hoe groot moet de MDE zijn? 

Wat is en hoe werkt het MDE? 

Het MDE van een experiment is de minimale uplift die je in een test moet bewerkstelligen om deze uplift ook daadwerkelijk met zekerheid te herkennen in de resultaten. Vaag? Klopt. Laten we naar een voorbeeld kijken. Stel, je MDE op de homepagina is 5%. Dit wil zeggen dat je met de aanpassing in een A/B test minimaal een uplift van 5% nodig hebt om met genoeg zekerheid een winnaar te vinden. 

Stel je hebt een test op de homepagina bedacht. In de variant verander je de knopkleur van blauw naar groen omdat je ergens hebt gelezen dat groen altijd een goed idee is. Je verwacht dat deze verandering minimaal een uplift in conversie van 5% gaat veroorzaken, je bent er immers zeker van dat dit een grote winnaar gaat worden. Maar als je de test aan het analyseren bent kom je erachter dat de groene kleur maar een uplift van 2% heeft veroorzaakt. Alsnog kan deze groene kleur een heel goed idee zijn geweest, je effect was alleen niet groot genoeg om deze test ook echt als een winnaar te kunnen zien. Het effect is immers kleiner dan 5%. Helaas is deze test dus geen winnaar en weet je dat je in de volgende testen op de homepagina grotere veranderingen moet maken in de hoop dat je dan een grotere uplift zal veroorzaken.

Hoe gebruik je de bandwidth calculator?

Ga naar ondi.me/bandwidth. Maak van het document altijd een kopie die je op je eigen drive zet, zodat anderen je wijzigingen niet kunnen zien. 

In dit document zie je een voorbeeld van een standaard e-commerce funnel. 

In het bovenstaande voorbeeld zie je dat er gemiddeld 34.000 bezoekers per week de homepagina bezoeken en dan 4.000 bezoekers converteren na het bezoek aan de homepagina. Let er op dat je een volgorde in je segment aangeeft. Een klant ziet eerst de homepagina en converteert pas daarna. Je wilt immers een klant met je experiment beïnvloeden voordat hij geconverteerd heeft en niet erna. 

Je kan overigens zelf bepalen wat een conversie is, dit kan een order zijn, maar ook een bezoek aan de winkelmand of een inschrijving voor een nieuwsbrief. 

Duur, aantal bezoekers en significantie instellen

Het conversiepercentage vult het document zelf aan. Kies in de volgende kolom het aantal weken die je wil gaan testen. Wij raden aan om minimaal 1 week en maximaal 4 weken te testen. Minimaal 1 week omdat je alle dagen van de week vertegenwoordigd wil hebben; het gedrag op een zondag is vaak heel anders dan het gedrag op een dinsdag. En maximaal 4 weken omdat je ten eerste te maken krijgt met cookie vervuiling en ten tweede omdat je vaak niet langer dan 4 weken wil wachten op de uitslag van een test.

Daarna bepaal je nog of iedereen op de pagina ook daadwerkelijk de verandering gaat zien. Stel je bedenkt een test die beneden de vouw op de homepagina een verandering aanbrengt. Omdat niet iedereen naar beneden scrollt op deze pagina ziet ook niet 100% van je bezoekers de verandering. Deze kolom kun je dan naar beneden aanpassen.

Als laatste kies je het significantie niveau. Hiermee geef je aan hoe zeker je wil zijn van de uitkomst. De calculator rekent hierna het MDE voor uit. In dit geval is dat voor de homepagina 3,1%. Dit wil zeggen dat je met je test minimaal een uplift moet halen van 3,1% of hoger om dit effect in een experiment te kunnen herkennen. 

Welke impact moet je maken?

Bij de listing pagina is dit veel hoger, 13,8%. De kans dat je een winnaar gaat vinden op orders van meer dan 13% is erg klein en we adviseren dan ook om niet te testen op pagina’s met een MDE hoger dan 10%. Wil je deze pagina toch optimaliseren? Kijk dan of je een andere KPI kan kiezen. Bijvoorbeeld een ‘tussen’ conversie zoals het toevoegen van een product aan de winkelmand, of het zien van de samenvatting.

Het MDE is een goede maatstaf voor de grootte van de aanpassing in de variant. Is het minimale benodigde effect voor een pagina laag? Dan kun je met een kleine aanpassing een gedragsverandering met zekerheid herkennen. Is het minimale benodigde effect hoog? Dan moet je in de variant een grote aanpassing maken om met zekerheid een gedragsverschil in de data terug te zien.

Het resultaat van deze calculator is een lijst met pagina’s die geschikt zijn om op te testen en eindigt dan ook met een ranking. De pagina’s waar veel bezoekers converteren komen hoger op de ranking te staan dan pagina’s waar maar weinig bezoekers converteren. In de meeste gevallen zijn dit de plekken waar het meeste geld te verdienen is. De ranking wordt ook grotendeels bepaald door het aantal experimenten die je in een jaar kan doen. Dus als je op een pagina één week test dan komt deze hoger in de ranking terecht dan wanneer je twee weken of langer zou testen. De ranking stelt eigenlijk de vraag: als je een jaar gaat testen, op welke pagina’s kan ik mij dan het beste focussen om de meeste extra orders te krijgen?

Aan de slag

Ga naar ondi.me/bandwidth om te kijken waar je veranderingen de grootste impact kunnen maken op je website.