Rhett Norton gaf tijdens de AB Testing Summit in december vorig jaar een interessante talk over het principe van de congruence bias en wees daarbij op 7 valkuilen. Rhett Norton is oprichter van TestingTheory.com en noemt zichzelf een Testing Evangelist. Hij hielp vele bedrijven, leidde ooit een groot optimalisatie team bij Adobe en heeft zo honderden A/B testen uitgevoerd.
Zelf zegt hij over congruence bias: “You want to increase the value of every A/B test you do. The congruence bias kills performance and success”.
Wat is de congruence bias?
De congruence bias gaat over onze eigen vooringenomenheid in situaties waarbij we denken een oplossing voor iets gevonden te hebben maar we zelf niet in staat zijn om ook te denken dat er alternatieve oplossingen zijn. We zijn zo sterk overtuigd van ons eigen gelijk dat we de échte oplossing niet vinden. Dat komt simpelweg omdat we er niet naar zoeken.
Rhett stelt terecht dat in onze wereld van online experimenteren dit ook een groot probleem is omdat men te vaak gefocust is op een eigen idee en daardoor niet meer het vermogen heeft om alternatieve hypotheses te overwegen. Vaak gaat het meer om het goedkeuren van je eigen idee in plaats van vinden van alternatieven.
Hij stelt ook dat bedrijven vaak een conversie uplift zien waarbij ze eigenlijk niet weten waardoor de uplift is ontstaan. Dit komt omdat ze nooit hebben geprobeerd om een hypothese te verwerpen.
De 7 valkuilen van de congruence bias
-
Het enige antwoord is ‘ja’ of ‘nee’.
Zullen klanten beter converteren als ze een afbeelding van onze populairste producten zien? Het antwoord hierop is ‘ja’ of ‘nee’. Daarmee zit je eigenlijk al meteen vast in de congruence bias. Zo’n A/B test heeft namelijk last van het “aantonen-dat-ik-gelijk-heb syndroom”. De oplossing hiervoor is open vragen stellen die meer gericht zijn op alternatieve mogelijkheden en het zoeken naar andere antwoorden.
-
Vragen met maar twee alternatieven
Dit gebeurt vrijwel altijd. Als er meer alternatieven mogelijk zijn, moeten deze ook bekeken worden tijdens het testen. Eén van de belangrijkste aspecten is openstaan voor meerdere antwoordmogelijkheden en alle opties te testen.
-
Te specifieke vragen
Wanneer je vragen te specifiek zijn, dan kan dat een indicatie zijn dat wat je test niet heel waardevol is (behalve wanneer je dit via eerdere testen al hebt bewezen) en heb je mogelijk met congruence bias te maken. Het testen van details is een val voor veel bedrijven omdat ze denken dat wat ze testen waardevol is. Terwijl ze beter elementen van een hoger niveau kunnen testen.
-
Weerleggen van ideeën
Wanneer je leert dat iets niet werkt, dan ben je een stap dichterbij om uit te zoeken wat dan wel werkt. Het is dus helemaal niet zo erg om verliezers te hebben tijdens het testen. Een indicatie dat je vast zit in de congruence bias is wanneer er veel ideeën zijn maar er vervolgens niemand is die probeert deze te weerleggen. Om dit te kunnen doen heb je overigens wel een goed iteratief proces (inclusief roadmap) nodig.
-
Het briljante idee van de leidinggevende
Wanneer een leidinggevende een idee getest wil hebben en iedereen binnen het bedrijf gaat hierin mee, dan zou dit een indicatie kunnen zijn dat men vastzit in de congruence bias. De leidinggevende wil waarschijnlijk zijn of haar gelijk halen en daarmee wordt een test/optimalisatie team min of meer gedwongen om mee te doen.
Wanneer een team wordt gedwongen om een bepaalde A/B test te doen, door druk van bovenaf, dan kun je er zeker van zijn dat men buigt voor de gevaren van deze bias. Eén manier om te voorkomen dat je met allerlei ideeën van het kastje naar de muur gestuurd wordt, is door het werken met een flexibele roadmap waarin je zaken kunt testen en itereren. Flexibel zijn herbergt ook gevaren want wanneer zoiets in de verkeerde handen valt, kan het gebeuren dat je testprogramma alle richtingen op schiet behalve de juiste. Wees er dus op bedacht dat de ideeën van de leidinggevende niet jouw roadmap worden!
Een andere manier om jezelf te beschermen tegen iemand zijn of haar ‘briljante idee’ is het creëren van een cultuur van testen en optimaliseren. Hoe beter een bedrijf de theorie en methoden achter het goed uitvoeren van A/B testen begrijpt, des te beter worden de ideeën die men het team aandraagt.
-
Persoonlijk geïnvesteerd in de winnende variant
Het is niet erg als je het belangrijk vindt of heel enthousiast bent dat een bepaalde A/B test variant wint. Het is wel een valkuil om je gelijk te willen halen en je emotioneel betrokken bent als een bepaalde variant verloren of gewonnen heeft, dan is dat waarschijnlijk een signaal dat je last hebt van congruence bias.
Het is met name een valkuil voor designers omdat zij zoveel energie in de designs van de A/B test varianten stoppen. Zij hopen natuurlijk dat hun tijd en energie goed besteed zijn en hun ontwerpen goed zijn voor de klant.
De beste designers creëren nieuwe A/B test varianten gebaseerd op een gedegen vraag en maken dan een drastisch afwijkend ontwerp gebaseerd op de context van de A/B test. Moedig designers aan dat ze alle mogelijkheden verkennen en nieuwe en verschillende dingen uitproberen. Het beste is als er designs gemaakt worden die ervoor zorgen dat je dingen leert.
-
Sjoemelen met cijfers
Als men te emotioneel betrokken is bij een variant of als het bedrijf graag wil dat een variant gaat winnen, wordt er wel eens gesjoemeld met de cijfers. Dit wordt gedaan om de data beter te laten lijken dan het in werkelijkheid is. Denk bijvoorbeeld aan het wijzigen van een tijdsperiode of het gebruiken van andere metrics. Dit is niet de manier om een succesvol optimalisatie programma uit te voeren. Luister naar de data want die spreekt voor zich!
Conclusie
Het is dus belangrijk om de juiste vragen te stellen en rekening te houden met je eigen vooroordelen (biases). Hoe minder we proberen om gelijk te krijgen, hoe beter we doorkrijgen dat we de meer strategische vragen moeten stellen en we beginnen te realiseren hoe we positief kunnen bijdragen aan het geheel.
Wil je de volledige presentatie van Rhett Norton of andere sprekers terugzien? Dat kan op de website van A/B Testing Summit.
