Startups die A/B-testen, schalen sneller, lanceren meer producten en trekken meer risicokapitaal aan, blijkt uit recent wetenschappelijk onderzoek (Koning, 2020).

In het onderzoek staat nog een interessante observatie: Startups die in een vroeg stadium experimenteren, stoppen meestal sneller. Dit kan natuurlijk gevolg zijn van onervarenheid van het management in het toepassen van A/B-testen, maar een andere mogelijkheid is dat het bedrijfsconcept gewoon niet goed genoeg was en men dit sneller te weten kwam door te testen.

“Ik denk dat een van de coolste bevindingen van ons artikel is dat experimenten niet per se de groei van startups stimuleren. In plaats daarvan merken we dat bedrijven die A/B-testen, sneller opschalen én falen. Soms hebben oprichters gewoon slechte ideeën en in deze gevallen helpt experimenteren hen om sneller naar hun volgende kans te gaan.”

Rembrand Koning: Assistant professor – Harvard Business School in HBS weekly

Meer kans op slagen door A/B-testen?

Bedrijven van elk niveau zetten experimentatiemethoden in. Dit heeft geleid tot enkele van ‘s werelds grootste technologiebedrijven. Maar helpt de mantra van Silicon Valley “fail fast, fail often” bedrijven echt te slagen?

Om daar achter te komen onderzocht Koning, samen met Sharique Hasan en Aaron Chatterji van de Fuqua School of Business van Duke University, 35.262 tech startups die tussen 2008 en 2013 wereldwijd waren opgericht. Ze hebben hun resultaten uiteengezet in een paper: Digital Experimentation and Startup Performance: Evidence from A/B Testing.

Meer focus op innovatie en strategie

De onderzoekers analyseerden de kenmerken, webstatistieken en technologie adoptie van de startups gedurende vier jaar. Zo kwamen ze erachter dat A/B-testen niet alleen de prestaties van de startups beïnvloedden, maar ook hoe. Ze ontdekten dat A/B-testen van belangrijke wijzigingen aan hun websites, zoals het verbeteren van het ontwerp, ook meer focus op strategie en innovatie van het grote plaatje tot gevolg heeft.

“Door het zoveel gemakkelijker te maken om al deze kleine verbeteringen aan te brengen, stelt A/B-testen het bedrijf ook in staat om tijd vrij te maken die het zou hebben besteed aan het sleutelen aan deze kleine aanpassingen. Die worden nu gedelegeert aan de A/B-testtool. Managers kunnen nu nadenken over meer radicale veranderingen, zoals innovatie en nieuwe producten. Door A/B-testen breng je over het algemeen meer veranderingen aan, dus gaat niet ten koste van grote ideeën.”

Rembrand Koning: Assistant professor – Harvard Business School

Sneller falen of stralen

Bedrijven die A/B-testen gebruikten om hun websites te optimaliseren, hadden gemiddeld meer paginaweergaven, bezoekers bezochten meer pagina’s en bleven langer. Maar deze bedrijven bereikten ook eerder hun eindpunt door schaalvergroting of mislukking.

Van 2015 tot 2018 hebben 4.645 startups een testtool op hun websites geïmplementeerd. Gemiddeld hadden die bedrijven ongeveer 10 procent meer wekelijkse paginaweergaven, 5 procent meer kans om financiering binnen te halen en lanceerden ze 9 tot 18 procent meer producten.

“Bedrijven die A/B-testen toepassen, hebben meer kans om nul paginaweergaven te halen, wat we beschouwen als bewijs van het einde van de startup, maar ze hebben ook meer kans op grote aantallen paginaweergaven, met uiteindelijk meer dan 50.000 weergaven per week”

Rembrand Koning: Assistant professor – Harvard Business School

Hoe effectief is A/B-testen voor bestaande bedrijven?

Verder onderzoek is nodig om te bepalen of en hoe betaande bedrijven kunnen profiteren van experimenteren. Koning bestudeert momenteel de Fortune 1000. Hij denkt dat de gunstige effecten voor dergelijke bedrijven nog groter kunnen zijn, omdat de kosten van het testen van nieuwe ideeën historisch veel hoger zijn: “Deze bedrijven hebben vaak een heleboel werknemers met geweldige ideeën. Als ze hun managementstrategieën voor elkaar hebben, dan denk ik dat zij het meeste kunnen profiteren van A/B-testen”.

Belang dat management experimenteren omarmt

Voor managers is het implementeren van een experimenteerstrategie meer dan het installeren van software en het uitvoeren van één experiment. Het vereist een langdurige inzet. De effecten die Koning en zijn collega’s vonden, kwamen vaak pas nadat een startup een half jaar aan het A/B-testen was. Het omarmen van experimenteren in een organisatie vereist ook dat managers belangrijke stakeholders zijn, die bereid zijn werknemers in staat te stellen om hun beste ideeën te testen.

“Experimenteren betekent het gebruiken van de resultaten van A/B-testen om beslissingen te nemen, niet over een manager die beslissingen neemt. Andere mensen in staat stellen om met ideeën te komen en ze te testen zonder zich te bemoeien met hoe ze worden geselecteerd, is een enorm stap voor managers. Het is ongelooflijk moeilijk om te doen, omdat er veel rond de besluitvorming en taken van het management verandert.”

Rembrand Koning: Assistant professor – Harvard Business School

Bron:
Koning, Rembrand, Sharique Hasan, and Aaron Chatterji. “Digital Experimentation and Startup Performance: Evidence from A/B Testing.” Harvard Business School Working Paper, No. 20-018, August 2019. (Revised September 2020. SSRN Working Paper Series, No. 3440291, August 2019)