Cognac, champagne, whiskey – alles ging open toen je voor het eerst de prachtige successen van je A/B-testen zag. Maar na een paar dagen zie je dat je omzet toch niet de groei kent die je had verwacht. Ineens lijkt alles somber en voel je je bedrogen. “De tool heeft toch een winnaar aangewezen?!”
Wil je weten waar het fout ging? Hoe kan je A/B-testen opzetten die je website vanaf de basis verbeteren? Smriti Chawla van Virtual Website Optimizer schreef over 5 fouten die je maakt bij het A/B-testen (en wat er aan te doen).
1. Je stelt een test in aan het begin van de funnel terwijl je in het midden van de funnel ook nog verkeer binnen krijgt
Het typische conversiepad van een e-commerce website is – Homepage > Product categorie pagina > Product pagina > Winkelmandje > Verkoop.
Duidelijk toch?
Laten we zeggen dat je een verandering hebt aangebracht in de categorie pagina waardoor uiteindelijk meer mensen naar het winkelmandje gingen. Dit zorgt voor een groei van je omzet van 30%, met een statistische zekerheid van 99,7%. Maar deze verbetering is specifiek voor het verkeer dat via de categorie pagina komt.
Je bent vergeten dat je ook verkeer hebt dat direct op je productpagina komt en deze bezoekers werden niet beïnvloed door de veranderingen die je op je categorie pagina hebt getest. Hierdoor zal je omzet lager zijn dan de verwachte groei van 30% die je in je A/B-test tegen kwam.
Hoe kun je dit vermijden of oplossen?
Wees je bewust van verkeer dat later in de funnel binnenkomt en invloed kan hebben op je testresultaten. Sluit dit verkeer uit van je berekeningen en stel je verwachtingen in op basis van het verkeer dat daadwerkelijk in de test zit.
In Google Analytics kan je dit heel makkelijk zien met Custom Variables. Als je A/B-test software geïntegreerd is met Google Analytics (zoals Visual Website Optimizer is), kan je makkelijk de verschillende conversiedoelen zien van de bezoekers die daadwerkelijk onderdeel waren van de test.
2. Je wacht niet graag op statistische zekerheid
Het gebeurt vaak dat mensen zonder duidelijke reden een test stoppen en een winnaar kiezen terwijl er een statistische zekerheid is van niet meer dan 80% of 90%. Deze mensen klagen later vervolgens dat de resultaten niet klopten en ze geen verbetering zagen in de omzet.
Als je een test stopt voordat je statistische zekerheid hebt, krijg je onbetrouwbare data. Volgens de normen in onze industrie moet je een test laten lopen tot je een zekerheid van minstens 95% hebt behaald.
Hoe kun je dit vermijden of oplossen?
Wijs alleen een winnaar aan wanneer je ten minste 95% statistische zekerheid hebt. Dit betekent dat er een kans is van slechts 5% dat je data toch verkeerd uitpakt. Met de meeste A/B-test tools die vandaag de dag beschikbaar zijn, wordt de statistische zekerheid automatisch voor je berekend.
3. Je hebt geen idee wat een sample size is
Je hebt gewacht op statistische zekerheid. Super! Je hebt nu 99% zekerheid met een groei van 125,5%. Dit betekent dat je op deze data kunt vertrouwen, toch? Niet altijd.
In een A/B-test kan je in principe conclusies trekken over je gehele doelgroep op basis van een kleine groep van je klanten. Toch kan je niet vertrouwen op de data van 50 bezoekers en vervolgens conclusies trekken over het gedrag van 50.000 website bezoekers.
Als je veranderingen op je website baseert op een te kleine sample size, staan je nog een boel verrassingen te wachten. In de echte wereld zal de omzetgroei van 60% op basis van 50 bezoekers waarschijnlijk toch anders uitpakken.
Hier is een voorbeeld van een test die statische zekerheid heeft behaald, maar waarvan de sample size nog te klein is:
Hoe kun je dit vermijden of oplossen?
Probeer de gratis ‘split duration calculator’ van Virtual Website Optimizer. Voer de waarden van je website in en bereken de sample size van bezoekers die je nodig hebt om testresultaten te krijgen waar je op kunt vertrouwen.
Zelfs als je A/B-test tool een winnaar aanwijst met 95% zekerheid, laat de test gewoon doorlopen tot het de benodigde sample size bereikt.
4. Je focust niet op klantbehoeftes maar op psychologische tactieken
Het voornaamste doel van conversie optimalisatie is om klanten te helpen de juiste beslissing te maken door ze iets waardevols te bieden. Hoewel psychologische tactieken, zoals het veranderen van de kleur van een knop, gedrag beïnvloeden en conversies kunnen verbeteren, hebben zulke veranderingen vaak maar een minimale impact op de lange termijn resultaten.
Hoe kun je dit vermijden of oplossen?
Psychologische tactieken toepassen is belangrijk omdat ze helpen de bezoeker verder in de conversie funnel te leiden, maar alleen ‘trucjes’ toepassen is slechts een pleister opplakken, terwijl je altijd moet streven naar een concrete verbetering. Zorg er voor dat je de behoeftes van je klanten begrijpt en probeer ze aan te spreken op je website. Dit geeft betere resultaten dan alleen het testen van psychologische tactieken.
5. Het verkeerde conversiedoel tracken
Je website optimaliseren voor slechts één doel is goed als deze een specifiek doel heeft. Op een e-commerce website is het verkoopdoel bijvoorbeeld veel belangrijker dan alle andere conversiedoelen. Maar als je website verschillende conversiedoelen heeft moet je er voor zorgen dat je ook alle aanverwante doelen trackt, om te voorkomen dat je verkeerde conclusies trekt uit je A/B-testen.
Een SaaS (Software as a Service) bedrijfswebsite heeft bijvoorbeeld meestal meerdere conversiedoelen, zoals eBook downloads, gratis inschrijvingen, betaalde inschrijvingen, bounce rate, etc.
Als je dan de call-to-action tekst voor een ‘Gratis eBook download’ verandert zal dit misschien het aantal conversies voor ebook downloads verbeteren, maar weet je ook wat het effect is op betaalde inschrijvingen nu mensen worden afgeleid door het gratis eBook?Als je hier niet op let zal je pas te laat er achter komen dat je omzet misschien wel daalt.
Hoe kun je dit vermijden of oplossen?
Zorg ervoor dat je alle belangrijke KPIs trackt. Soms zal je zien dat het voornaamste doel van een test een positief resultaat had, maar dat andere belangrijke metrics op je website hier onder te lijden hebben. In dat geval moet je beslissen welke metric een grotere impact heeft op je uiteindelijke bedrijfsdoel en op basis daarvan doorgaan of stoppen met de veranderingen.
In sommige gevallen kan het kiezen van de verkeerde A/B-test tool ook zorgen voor een situatie waarin je misschien opgeblazen resultaten in je test ziet die niet overeenkomen met je daadwerkelijke omzet (zoals Neil Patel in deze post uitlegt). Het is daarom belangrijk dat je een A/B-test tool gebruikt met een goede reputatie. Je kunt ook altijd een A/A-test doen om te controleren of de cijfers die je tool rapporteert overeenkomen met de daadwerkelijke resultaten.
