Als je zoekt naar informatie over A/B-testen op het internet vind je al snel veel artikelen. Deze artikelen hebben één ding gemeen: ze gaan nagenoeg allemaal over het verhogen van je omzet met A/B-testen. De afdronk zal snel zijn dat wanneer je meer conversies wilt vanuit je digitale kanalen dat A/B-testen daarvoor zorgt. Dit is echter een gevaarlijk uitgangspunt, zodanig gevaarlijk dat dit in de weg kan gaan zitten van de groei naar een data en experiment gedreven organisatie.

A/B-testen als validatie methodiek

Met een A/B test vergelijk je twee verschillende varianten van jouw customer experience. Door statistiek toe te passen, toets je of de nieuwe variant daadwerkelijk tot een significant gedragseffect onder jouw doelgroep leidt. Bij het laten groeien van je digitale kanalen zal je vooral op zoek zijn naar een positief significant effect op het aantal conversies.

A/B-testen is dus een methodiek om te toetsen of je iets wel of niet moet gaan aanbieden aan je (potentiële) klanten. Je verlaagt het risico bij het nemen van je beslissingen door dit vooraf te valideren met een A/B-test. Natuurlijk geldt hier de mantra “garbage in, garbage out”. De A/B-test leidt immers niet tot meer kopende bezoekers, het is de variant in de customer experience die dit doet.

Het gevolg van te weinig positieve resultaten

Het te weinig vinden van significant positieve resultaten in je A/B-testen heeft dus niets te maken met het A/B-testen zelf. Los van het weinig vinden van deze resultaten door het werken met kleine populaties, komt dit doordat het team niet iets heeft ontworpen dat tot een significant gedragseffect leidt. Het is tijd om de aanpak van het team onder de loep te nemen en te verbeteren (met de kanttekening dat het heel normaal is dat een deel van de ideeën niet succesvol is).

Het niet vinden van positieve resultaten kan ervoor zorgen dat A/B-testen als methodiek niet verder wordt opgeschaald of zelfs minder vaak gebruikt wordt in een organisatie. De resultaten blijven immers achter bij de verwachting van meer omzet.

Valideer of er geen negatieve effecten zijn

A/B-testen is echter de ideale methode is om te valideren of aanpassingen in de customer experience niet een negatief effect hebben op het aantal conversies. Bij digitale aanpassingen wordt er vanuit de techniek wel vaak getest of security en performance niet negatief worden beïnvloed, waarom wordt dit dan ook niet met het effect op conversies gedaan?

Je wilt elke aanpassing valideren met aan A/B-test in plaats van alleen maar A/B-testen uitvoeren met als doel om meer omzet te halen. Het verlaagt de risico’s van alles dat je lanceert. De grote focus op het vinden van A/B-test “winnaars” en meer omzet door A/B-testen is een onjuiste. Je wilt meten met een A/B-test of de wijzingingen in de customer experience in ieder geval geen significant negatief effect hebben op de conversies. Dit validatie percentage moet naar 100%.

Maak teams niet risico mijdend

Het is niet zo dat je hiermee wilt stimuleren dat de teams geen risico meer nemen in wat ze willen lanceren, dat verlaagt de kans op het vinden van doorbraken in kennis over gedrag onder jouw doelgroep. Geef de teams genoeg vrijheid om echt te experimenteren, zolang de aanpassingen maar worden gevalideerd. Dit is de stip op de horizon voor de data en experiment gedreven organisatie.