A/B-testen is geen wondermiddel, maar het is wel fantastisch in wat het hoort te doen. Sommige mensen hebben valide kritiek over verschillende onderdelen van A/B-testen, maar het risico is dat sommige van de slechtere omschrijvingen van de limieten, mensen motiveren om het kind met het badwater weg te gooien. Samuel Hulick van medium.com schreef daarom over 7 verkeerde aannames in A/B-test tegenargumenten.
Verkeerde aanname #1: A/B-testen is een slecht alternatief voor product visie
“Je zult niet door A/B-testen een nieuwe Shakespeare schrijven.” —Brian Chesky
Dit is als zeggen dat een weegschaal geen goed alternatief is voor sporten en een gezond dieet. Natuurlijk niet! Een weegschaal is geen methode, zoals de andere twee, maar een tool die laat zien hoe goed je het doet. Zo is ook A/B-testen een design tool, geen designmethode.
Aandacht besteden aan de resultaten van je beslissingen betekent niet dat je de strategie op autopiloot moet zetten. Het tegenovergestelde juist: het geeft je de feedback loop die je nodig hebt om je acties te calibreren.
Verkeerde aanname #2: A/B-testen zorgt voor een steriele, saaie gebruikerservaring
“Je kunt een oppervlakkig lokaal maximum bereiken met A/B-testen, maar je zult nooit het hart en de geest voor je winnen.” —Jeff Atwood
Alleen maar omdat split testen cijfers bevat, betekend het niet dat het alleen maar koude, berekende designs voor staat. Het staat effectief design voor, en het raken van het hart van mensen is een van de beste manieren om effectief te zijn.
De warmte, compassie en overtuigingskracht van de content die je produceert is volledig in jouw handen. Niets aan A/B-testen dwingt jou om een slachtoffer te zijn van ongeïnspireerde beslissingen.
Verkeerde aanname #3: A/B-testen is alleen voor triviale dingen als achtergrondkleur en knoptekst
“Uiteindelijk zal een site die gebouwd is met logica en consistentie vanuit een duidelijke design visie, altijd beter presteren dan een site die gebouwd is door elk element precies te plaatsen en nerveus te testen.” —Martin Gittins
Ten eerste, soms kunnen ‘kleine’ dingen als een knoptekst een enorme impact hebben dus laten we niet kleine veranderingen verwarren met kleine successen.
Belangrijker, het is simpelweg incorrect om A/B-testen neer te zetten als iets dat alleen toepasbaar is op individuele schermelementen en hun attributen. Je kunt letterlijk twee compleet verschillende schermen (of features! of complete sites!) tegenover elkaar zetten.
Om betrouwbare testresulaten te krijgen, is het over het algemeen een goed idee om een enkele variabele te controleren, maar hoe diep je in detail wilt gaan is geheel aan jou. Wees je er van bewust dat hoe breder je de focus legt, hoe minder gedetailleerd je weet welke specifieke delen wel of niet werken.
Verkeerde aanname #4: A/B-testen betekent dat je een tamme, passieloze set features krijgt
“Het eerste grote probleem is dat wanneer je voor metrics ontwerpt, het makkelijk wordt om geen risico’s meer te durven nemen.” —Andrew Chen
Dit is precies het tegenovergestelde van mijn ervaring. A/B-testen biedt een framework voor experimenten, waar gewaagde en gedurfde alternatieven de mogelijkheid krijgen om hun waarde te bewijzen.
Er zijn een heleboel verhalen waar eigenlijk zo maar iemand in het bedrijf met een gekke aanbeveling kwam die, dankzij de experimentele cultuur van het bedrijf, ontvangen werd met ”dat klinkt gek, maar laten we het proberen” en uiteindelijk verrassend goed werkte.
Als maar één versie van een bepaald design ooit het daglicht ziet, zal een veel grotere nadruk komen te liggen op “het direct goed maken”. Door de creatie door een heel proces van goedkeuring te halen, krijg je, ironisch genoeg, JUIST tamme passieloze feature sets.
Verkeerde aanname #5: A/B-testen kan je vertellen wat, maar niet waarom
“Dit verhaal legt voor mij een significant probleem uit met het designen aan de hand van metrics. Je krijgt snelle feedback of iets of een aanpak werkt, maar geen enkele feedback waarom.” —Cennydd Bowles
De aanname is correct, maar geeft de verkeerde indruk dat A/B-testen op een of andere manier niet toereikend is omdat het niet beiden doet.
Een thermometer kan me alleen vertellen wat mijn temperatuur is, en niet of ik griep heb. Dat betekent niet dat het niet waardevol is voor wat het WEL kan doen.
A/B-testen is geen tool om design ideeën te genereren, het is een tool om ze te valideren. Als je split testen gebruikt als een kristallen bol voor gebruikerservaring inzichten, dan gebruik je het niet correct.
Verkeerde aanname #6: A/B-testen betekent dat je moet stoppen met innoveren
“Stop dan maar met optimaliseren en ga terug naar andere manieren van analyseren om de volgende stappen uit te vogelen. Doe interviews, doe gebruikerstesten, doe enquêtes en stel vragen.” —Joshua Porter
Je hoeft niet te stoppen met herhalen om innoverend te zijn. Al van de genoemde ‘alternatieven’ die hierboven genoemd zijn kunnen, en zouden moeten, gebeuren parallel A/B-testen. Kwalitatief onderzoek is waar een goede designer hun ‘B’ concept op baseert!
Als je strategie is om uitwerpselen tegen de muur aan te werpen en te kijken wat blijft plakken, dan is het waar dat de winnaar van een split test shit zal zijn. Echter, split testen kan ook een winnaar identificeren tussen twee ongelooflijk waardevolle, weloverwogen varianten. Je bent wat je eet.
Verkeerde aanname #7: A/B-testen brengt je in verlegenheid als het de verwachtingen niet waar maakt
[Ik noem geen namen, maar ik zie dit argument vaak langs komen]
Wen er maar aan vriend. Het is niet leuk, maar we zijn mensen en we hebben het constant bij het verkeerde eind. Plus, denk aan het alternatief: als iets niet goed presteert, hoe onverantwoordelijk is het dan om hier niet achter te komen alleen maar omdat je ego in de weg staat?
Het designen met een opzettelijk blinde vlek voor de uitkomsten van onze keuzes is niet designen met vertrouwen, maar met arrogantie. Omarm de mogelijkheid om niet alleen je fouten te leren, maar ook om van ze te leren.
Iedere A/B-test is een mogelijkheid om onszelf verantwoordelijk te houden voor de resultaten die ons werk zou moeten opleveren, en om de lat hoger te leggen voor onze industrie in zijn geheel. Werk er aan mee en je zult mooie dingen kunnen doen.
