Een A/B-test kost meestal veel tijd en geld, maar heeft het nu echt nut? In dit artikel geef ik antwoord op deze vraag. Dit doe ik aan de hand van de casestudie van https://www.phonegigant.nl. Zij voerden zo’n A/B-test uit in samenwerking met Xarus en in deze case lees je of deze test effectief is geweest of niet. Maar laten we even beginnen met een korte inleiding.

Voor wie is een A/B-test geschikt?

Een A/B-test is eigenlijk voor iedereen geschikt die zijn of haar website wil veranderen om een of enkele KPI’s te verbeteren met als uiteindelijk doel een verhoging van het rendement. Een welbekend feit in de wereld van marketing is dat je als bedrijf nooit vanuit jezelf mag denken. Toch hebben veel ondernemers hier wel moeite mee. Hier biedt een A/B-test dus de oplossing. Als ondernemer kun je denken dat het toevoegen van een mooie slider op de homepage zal resulteren in meer bestellingen, maar misschien denken je klanten hier wel heel anders over. Desalniettemin zullen ze jou dit waarschijnlijk nooit vertellen. Of zoals Henry Ford al eens zei

“If I had asked people what they wanted, they would have said faster horses.”

Hiermee doelde hij op het feit dat klanten niet altijd zeggen wat ze doen en niet altijd doen wat ze zeggen. Klanten hebben meestal helemaal niet door dat bepaalde aanpassingen op een website zo’n grote invloed hebben op hun gedrag. Daarom is nu juist de A/B-test zo’n goed middel.

De case van Phonegigant

Even terug naar de case van Phonegigant. Als het goed is, is het uitgangspunt van een bedrijf tevreden klanten. Dit geldt ook voor Phonegigant. Het is echter niet altijd gemakkelijk om klanttevredenheid te meten en daarom maakt de telecomgigant gebruik van reviews. Zij zijn aangesloten bij twee verschillende keurmerken, namelijk bij Thuiswinkel Waarborg en bij Webwinkelkeur. Bij beide keurmerken heeft Phonegigant aardig wat reviews verzameld. Maar natuurlijk betekenen twee verschillende keurmerken ook twee verschillende scores. Bij Webwinkelkeur scoort de webshop een 9,5 en bij Thuiswinkel Waarborg een 8,5. Dit heeft onder andere met de verschillen in vraagstelling te maken. Bij Webwinkelkeur betekent een 10  heel tevreden, maar bij Thuiswinkel Waarborg betekent een 8 heel tevreden. Erg interessant allemaal, maar waar het om gaat in deze case is dat Phonegigant het effect wilde testen van de verschillende reviews in de header van de website. Zouden de reviews in de header überhaupt effect hebben op de conversie? En zo ja, welke reviews werken dan het best? Thuiswinkel Waarborg is waarschijnlijk het grootst en het meest bekend. Bij dit keurmerk hebben zij dan ook de meeste reviews verzameld. De teller van het aantal reviews bij Thuiswinkel Waarborg staat op 5383  ten opzichte van 2496  bij Webwinkelkeur. Zou dit effect hebben op het gedrag van bezoekers? Normaliter zou dit een kwestie van gissen zijn, maar de A/B-test biedt uitkomst.

Een A/B-test betekent verschillende varianten

Bij een A/B-test moeten er natuurlijk verschillende varianten van de website ontwikkeld worden. Hieronder som ik ze even voor je op:

• Variant 1: De originele variant zonder reviews in de header;
• Variant 2: De variant met de reviews en de score van een 9,5 van Webwinkelkeur in de header;
• Variant 3: De variant met de reviews en de score van een 8,5 van Thuiswinkel Waarborg in de header;
• Variant 4: De variant met beide versies in de header.

Welk resultaat heeft de A/B-test opgeleverd?

Allereerst mag gezegd worden dat Phonegigant na deze A/B-test niet meer hoefde te gissen of het toevoegen van reviews effect heeft op het gedrag van bezoekers. Dit hebben zij namelijk duidelijk kunnen meten. Dit is al een resultaat op zich. Hieronder enkele cijfers van de verschillende varianten.

De cijfers van de A/B-test:

• Variant 2 Webwinkelkeur: 0,55% conversiestijging ten opzichte van de originele variant;
• Variant 3 Thuiswinkel Waarborg: 0,07% conversiestijging ten opzichte van de originele variant;
• Variant 4 beide versies: 0,15% conversiestijging ten opzichte van de originele variant.

Uit deze cijfers valt op te maken dat variant 2 de overige varianten met grote overtuiging heeft verslagen. Misschien vind je de cijfers op het eerste gezicht niet opzienbarend, maar de stijging van 0,55% is een absolute stijging. De relatieve stijging kan maar zo 5% tot en met 15% zijn. Stel je voor dat je conversieratio voor de test 3% was. Bij een conversiestijging van 0,55% is dit relatief gezien een stijging van 18,3%.

Heb je een grote webshop met een jaaromzet van 1 miljoen of meer? Dan betekent dit dus dat je omzet door deze kleine aanpassing met meer dan een ton stijgt! Heb je een kleinere webshop? Bijvoorbeeld een webshop met een omzet van 100.000 per jaar? Ook dan is het zeker interessant! Ga maar eens na dat je ook dan je omzet kunt verhogen met 10.000 euro.

Wat concludeerde Phonegigant uit deze A/B-test

Ten eerste dat een simpele aanpassingen op de website wel degelijk invloed kan uitoefenen op je conversie. In dit geval dus de reviews in de header van de website. Daarnaast trok zij de conclusie dat blijkbaar het cijfer veel belangrijker dan het aantal reviews of de bekendheid van het keurmerk.

Waarom heb ik deze casestudie geschreven?

A/B-testen is vandaag de dag al veel populairder dan een aantal jaar geleden, maar met deze casestudie wil ik nogmaals het belang van een A/B-test benadrukken. Natuurlijk moet er wel budget voor zijn en moet je rekening houden of de kosten tegen de baten opwegen. Maar mocht je de mogelijk hebben om een A/B-test op te zetten, dan zou ik het zeker doen.

Enkele tools die je kunnen helpen bij het opzetten van een A/B-test

• Visual Website Optimizer
• Content Experiments (onderdeel van Google Analytics)
• Convert