Ik hoop dat ieder experiment dat ik analyseer een positieve uitkomst heeft. Maar de harde realiteit is dat wij bij Online Dialogue een gemiddeld winnaars-percentage hebben van 30%. Dit betekent dat het overgrote deel (70%) van de experimenten niet de uitkomst heeft die we verwachtten. Toch hoop ik iedere keer weer opnieuw dat wij het juiste idee hebben en de hypothese, en daarmee onze verwachting, wordt bevestigd. Die vooringenomenheid kan een probleem zijn als het aankomt op het analyseren van je experimenten. En dat probleem staat ook wel bekend als de confirmation bias.
Een confirmation bias kan gemakkelijk je analyse insluipen. Je begint aan een analyse en hebt een bepaalde verwachting die je maar al te graag wilt bewijzen. Je gaat op zoek naar data die deze verwachting ondersteunen. Mogelijk gebruik je door die houding een verkeerde methode of mis je toevallig net die data die het tegendeel bewijst.
Confirmation Bias in de wetenschap
Confirmation bias zorgt ervoor dat je niet open staat voor informatie die je verwachtingen verwerpen. Op ieder moment dat jij resultaten aan het analyseren bent, loop je risico op confirmation bias. Het is dan ook een bekend probleem binnen wetenschappelijk onderzoek.
Zo deed Nature een experiment waarin 29 wetenschappelijke teams dezelfde informatie ontvingen over voetbalwedstrijden. Ieder team werd gevraagd antwoord te geven op de volgende vraag: “Hebben spelers met een donkere huid meer kans om rode kaarten te krijgen dan mensen met een lichte huidskleur?”.
Sommige wetenschappers ontdekten dat er geen significant verschil was tussen spelers met een lichte huid en spelers met een donkere huid, terwijl anderen een sterke trend vonden om meer rode kaarten te geven aan spelers met een donkere huidskleur. Naast het feit dat het onderzoek van Nature bevestigt dat spelers met een donkere huid 30% meer kans hadden op een rode kaart dan spelers met een lichte huid, was de uiteindelijke conclusie van het experiment dat er onder de deelnemers duidelijk sprake was van confirmation bias.
Confirmation bias in CRO
Hetzelfde probleem kan zich voordoen wanneer je een experiment analyseert. Je hebt een bepaalde verwachting van het resultaat en gaat in de data op zoek naar de bevestiging van je verwachtingen. Door die aanpak of focus kun je een ander resultaat over het hoofd zien waardoor je de uitkomst van het experiment onnodig beïnvloed.
Als analist ben je de rechter die bepaalt of je hypothese bevestigd of verworpen wordt. Wanneer deze bevestigd is, zal de winnende variant online worden gezet, met alle effecten die daarbij horen. Het is daarom ontzettend belangrijk dat je analyse niet beïnvloed wordt door je eigen vooringenomenheid.
Hoe voorkom je verkeerde analyses?
Bij de Israëlische inlichtingendienst hanteren ze de regel van de tiende man. De regel is als volgt: stel dat er een groep is van tien personen waarvan negen personen instemmen met een bepaalde actie, dan is het de taak van de tiende persoon om de huidige overtuiging uit te dagen en in twijfel te trekken. Het doel is om de dingen creatief, onafhankelijk en vanuit een nieuw perspectief te bekijken en zo de status-quo van de andere negen personen te heroverwegen.
In het onderzoek van Nature zijn de teams uiteindelijk samengekomen om hun methodes en aanpak te bespreken en zijn ze samen tot een eenduidig resultaat gekomen.
Er is een aantal manieren waarop je de kans op een confirmation bias bij een analyse kunt verminderen:
1. Creëer een compleet beeld en trek geen snelle conclusies.
2. Ga op zoek naar een ander perspectief en trek je huidige overtuigingen in twijfel.
3. Bespreek je aanpak en analyse altijd met een ander.
Ik denk niet dat je jezelf ooit helemaal kunt behoeden voor een confirmation bias, uiteindelijk zal je altijd, bewust al dan niet onbewust, een bepaald idee of verwachtingen van het resultaat hebben. Maar wanneer je je bewust bent van het risico op een confirmation bias kun je jezelf er zo veel mogelijk tegen beschermen.
De bovenstaande aanpak heeft in ieder geval mij en mijn collega’s geholpen om fouten te voorkomen en ik hoop jullie ook. Soms zit je te diep in de data en je eigen verhaal dat je andere inzichten mist.
