“Winnaars percentage”. Een cijfer dat zeer goed wordt bijgehouden door conversie optimalisatie teams. Het percentage A/B-testen met een significant positief effect op de conversie, ook wel de “winnende testen” genoemd.

Hoe belangrijk is dit percentage en moet dit omhoog of wil je vooral meer testen?

Het absoluut aantal winnaars

Laat ik beginnen met verklappen dat het management van een organisatie geen interesse heeft in het percentage winnende testen. Zij rekenen de prestatie van CRO af op basis van de toegevoegde waarde. Nog even los van de discussie dat elke test waarde heeft ongeacht de uitslag, krijg je pas echt schouderklopjes bij elke winnaar.

Wat is er eenvoudiger denk je? De potentie van de uit te voeren A/B-testen zodanig verbeteren dat je winnaars percentage stijgt van 30% naar 60%? Of zorgen dat je in plaats van 50 A/B-testen per jaar er 100 uitvoert? In beide gevallen kom je op hetzelfde aantal gemeten significant positieve effecten uit (namelijk 30).

Statistische kanttekening

Als CRO specialist weet je dat het resultaat van een A/B-test wordt bepaald door een statistische toets. Binnen je gemeten winnaars zitten een uitslagen die in werkelijkheid geen winnaar zijn (de “false positives”). Hoe lager je winnaars percentage, hoe groter het aandeel vals positieven binnen je winnaars. Je kunt dit uitrekenen (het aantal “true positives”, ook wel “echte winnaars”).

Uitgaande van een normale testopstelling (significantie 90%, power 80%) krijg je bij:
  • 50 A/B-testen met een winnaars percentage van 30%: 11 echte winnaars

Het is aannemelijk dat je winnaars percentage iets gaat dalen wanneer je extra resources vooral inzet voor meer kwantiteit (50 extra A/B-testen):
  • 100 A/B-testen met een winnaars percentage van 25%: 17 echte winnaars

Wanneer je deze extra resources alleen inzet voor kwaliteit dan kan dit het gevolg zijn:
  • 50 A/B-testen met een winnaars percentage van 40%: 17 echte winnaars

Je ziet dat het winnaars percentage vergroten van 30% naar 40%, hetzelfde aantal echte winnaars geeft als het aantal testen verdubbelen met een terugloop in winnaars percentage naar 25%. In beide situaties had je 21 winnende ideeën en konden 4 daarvan via de A/B-test niet gevonden worden (de zogenaamde “false negatives”).

Kwaliteit of kwantiteit?

Begint het nu al haalbaarder te klinken om toch vooral aan de kwaliteit te gaan werken of niet? In de uitgangssituatie van 50 A/B-testen en 30% winnaars had je 14 winnende ideeën. Om tot 21 winnende ideeën te komen heb je een stijging van 50% in winnende ideeën nodig. Is dat haalbaarder binnen de 50 A/B-testen door meer vooronderzoek of haalbaarder met een verdubbeling van het aantal A/B-testen?

Conclusie

Een gedegen framework op basis van hypothese onderzoek en resultaten uit eerdere testen heeft een positief effect op je percentage winnende ideeën, maar zorg wel dat dit de kwantiteit niet in de weg staat. Bij de meeste bedrijven waar ik binnenkijk moet nog worden opgeschaald in de aantallen voordat kwaliteit echt een probleem wordt. Zeker als je bedenkt dat elke extra test niet altijd een winnaar is, maar wel een inzicht.

Zorg er in ieder geval voor dat je het aantal echte winnaars per periode blijft bijhouden, dat is veel belangrijker dat het winnaars percentage. Als de ROI van deze echte winnaars hoog genoeg is kun je verder gaan opschalen in resources, welke je dan kunt inzetten in de voor jou juiste balans van meer A/B-test kwaliteit en kwantiteit.

Dit artikel is in april 2022 gepubliceerd in Twinkle Magazine.