Voor iemand die van buitenaf naar A/B-testen kijkt lijkt het een utopie voor webdesigners. Je hoeft nooit meer een beslissing te maken! Laat je gebruikers jou tonen wat het beste werkt! De introducties in praatprogramma’s schrijven zichzelf.
Het is zeker waar dat het A/B-testen van veranderingen aan een website -het runnen van twee versies en dan het bezoekersgedrag analyseren om te kijken welke het best werkt- een extreem krachtige tool is in het arsenaal van een ontwerper. Maar iedereen die wel eens een A/B-test heeft gedaan kan je vertellen dat het zowel een bron van blijdschap, als een bron van frustratie kan zijn. Niet alleen omdat veel testen zullen falen, of aantonen dat een keuze waar je van overtuigd was dat deze beter was, je alleen maar tegen blijkt te werken, maar ook omdat zelfs de meest succesvolle tests soms net zo frustrerend kunnen zijn als een gefaalde test.
Matthew Pennell heeft zich gerealiseerd waarom dit zo is. En het heeft te maken met Dungeons & Dragons.
Alignments in Dungeons & Dragons
Voor diegenen die niet bekend zijn met het concept van alignment zoals dit in het D&D universum bestaat, een korte samenvatting. Om dit klassieke rollenspel te spelen, moeten spelers een personage genereren (of “rollen”) en alle details opschrijven op een Character Sheet. Naast waardes voor Kracht, Uithoudingsvermogen, Wilskracht enzovoorts, moeten spelers ook een alignment kiezen, die aangeeft hoe de ethische en morele waarden van hun personage zijn.
De originele versie van D&D had slechts de keuze uit drie mogelijke alignments: Lawful (Wetsgetrouw), Neutral (Neutraal), of Chaotic (Chaotisch). Wetsgetrouwe personages hadden respect voor de regels van de samenleving; Chaotische personages hadden dit niet. Neutrale personages zaten ergens in het midden omdat ze saai zijn.
De D&D Basic Set die in 1977 uit kwam, bracht wat variatie door een tweede as te introduceren: een schaal van goed tot slecht. Personages konden dus gespeeld worden met één van negen mogelijke alignments:
Naast de standaard aligments als Chaotic Evil (denk aan de Joker, uit Batman) of Lawful Good (Superman), gaf dit nieuwe systeem ook de mogelijkheid om personages te hebben die enerzijds Lawful waren, maar ook Evil (zoals een tyrannieke heerser), of misschien Good, maar ook Chaotic, zoals Robin Hood. Spelers moesten hun personage spelen op een manier die overeen kwam met hun alignment, en dus echt beslissingen maken zoals dat personage zou doen.
Snap je het nog? Mooi. Je zult je nu afvragen wat dit met A/B-testen te doen heeft. Wel, dat zal ik je zeggen. Ik kwam er achter dat alle A/B-testen, de successen en de gefaalde testen, allemaal in één van deze negen D&D alignments te plaatsen zijn.
LAWFUL-GOOD A/B TESTEN
De Lawful/Good testen zijn degene die je er van overtuigd hebben om te beginnen met A/B-testen. De belofte van een gemakkelijke winst en grote winstmarges. Dit zijn de overduidelijke succesvolle testen waarvan iedereen, zelfs de CEO, zich nu realiseert dat dit al lang gedaan had moeten worden. De testen die je in iedere presentatie over A/B-test successen terug ziet komen. Haal die afbeeldingencarrousel van de homepage. Laat gebruikers een product kopen zonder eerst een registratieformulier van vijf pagina’s in te moeten vullen. Dit zijn de meest voor de hand liggende dingen om te doen, het laaghangende fruit, en je moet dit oppakken voor je ook maar iets anders doet.
NEUTRAL-GOOD A/B TESTEN
Aan iedere website moeten soms veranderingen gemaakt worden. Kleine wijzigingen aan je merk, technische veranderingen, commerciële verplichtingen – dit zijn allemaal redenen voor wijzigingen die niets te maken hebben met de klanttevredenheid. Je hebt gehoord “Always Be Testing”, dus stel je voor om ook deze wijzigingen te A/B-testen, zodat “we zeker zijn dat dit niet verkeerd valt bij de bezoekers, en er geen bugs in zitten”. Logisch, dus de veranderingen worden doorgevoerd en… de resultaten, waarvan niemand had verwacht dat ze ook maar enigszins anders dan volledig neutraal zouden zijn, komen positief terug. Hey, winst is winst.
CHAOTIC-GOOD A/B TESTEN
En dan zijn er de fouten. Misschien belt je QA tester je op om te laten weten dat er iets kapot is op de pagina, en het lijkt er op dat jouw test de oorzaak is. Een tag die niet goed gesloten is, een link naar een bestand dat je vergeten bent te uploaden, een typefout waardoor <h1> nu als <hq> in de code staat. Het maakt niet uit wat het is, het staat nu live en de gebruikers hebben er last van. Je probeert zo snel mogelijk de test uit te zetten, maar als je de resultaten ziet dan wrijf je eens goed in je ogen. Kloppen deze cijfers wel? Groen, groen, groen! Meer interactie, meer tijd op de pagina, meer conversie! Op een of andere manier heb je een winnende strategie gevonden zonder dat je het wist, al lijkt het naderhand zo logisch – natuurlijk werkt dat gedeelte van de site beter zonder achtergrond kleur, en dat icoontje zou mensen alleen maar hebben verward. Geen wonder dat de site beter werkt zonder.
LAWFUL-NEUTRAL A/B TESTEN
Lawful/Neutral zijn de ideeën die goed lijken, maar maar niet de positieve resultaten geven die je verwachtte. Al je gebruikerstests wijzen er op dat je deze verandering had moeten maken -vijf van de zeven deelnemers vonden dat de prijs niet groot genoeg werd weergegeven en je hebt geen goed argument waarom dit niet zou moeten gebeuren. Dus je voert de wijzigingen door, je verwacht een gemakkelijke winst en dan… niets. Het is niet zozeer dat je test faalt, maar de resultaten zijn onduidelijk. Iedereen is het er over eens dat dit een goed idee is, maar zonder bewijs moet je de stekker er uit trekken.
NEUTRAL-NEUTRAL (‘TRUE NEUTRAL’) A/B TESTEN
D&D personages in het midden van beide assen zijn “True Neutral”. Ze hebben geen sterke gevoelens in enige richting; noch de wetten en de regels van de samenleving, noch naar hun eigen morele waarden. Dieren in het D&D universum waren vrijwel allemaal ‘true neutrals’ (ten minste tot de 5th Edition in 2014), en het is mogelijk de gemakkelijkste (of meeste luie) alignment om te spelen.
Neutral/Neutral A/B tests zijn die tests waar je nooit echt iets om hebt gegeven. Iemand, ergens dacht dat het een goed idee was en het kwam op een of andere manieren in de backlog van je team terecht, en je hebt nu eindelijk de tijd gevonden om het door te voeren. En je vermoedens blijken correct: het heeft helemaal geen verschil gemaakt. Wat een tijdsverspilling.
CHAOTIC-NEUTRAL A/B TESTEN
Soms heb je een idee dat helemaal geen basis heeft in de geschiedenis en data van je project. Het strookt niet met de gewoontes van de persona’s van je bezoekers en niets wijst er op dat het iets is dat je site of app nodig heeft. Maar je doet het toch. Ieder idee verdient een kans, zelfs als het misschien nergens op lijkt te slaan. Omdat niemand de test steunt zal je hem in je eentje op moeten zetten en uitvoeren. Misschien zelfs in je eigen tijd. Je rommelt wat met de omschrijving van de test om het nog ergens op te laten lijken, maar de reden voor het bestaan van de test is eigenlijk onduidelijk. Misschien is de test een succes, misschien niet. Zonder een duidelijke hypothese gaat het moeilijk worden om vergelijkbare veranderingen door te voeren op andere delen van de website.
LAWFUL-EVIL A/B TESTEN
Nu komen we in het domein van anti-UX. Ontwerpers die opzettelijk hun gebruikers misleiden, informatie achterhouden of mensen lokken met valse beloftes om conversie te verhogen. Lawful/Evil testen worden gedaan door ontwerpers die hun kennis en kunde niet meer voor het goede aanwenden. Opties die in misleidende volgorde worden weergegeven, primaire en secundaire acties die van de ene naar de andere pagina veranderen, kleurcontrasten en site-ontwerpen die gebruikt worden om belangrijke informatie aan het oog te onttrekken. Dit zijn de acties van een machtige evil overlord.
NEUTRAL-EVIL A/B TESTEN
De Neutral/Evil test is een vreemde eend in de bijt in deze lijst, omdat het de enige test is die meestal niet door een webdesigner wordt uitgevoerd. Deze tests komen van bovenaf – de productmanager, de VP of Sales — en hun enige doel is hogere conversie. Ze hebben geen toewijding aan klanttevredenheid, snappen niets van wat een klant blij maakt. Deze tests zijn ontworpen om slechts een ding te bewerkstelligen: meer kliks op die “Afreken” knop. In deze categorie vallen ook suggesties als “de lievelingskleur van mijn vrouw is paars” waar iedere freelance webdesigner zo van houdt.
CHAOTIC-EVIL A/B TESTEN
Eindelijk komen we in het hokje rechts onderin. De Chaotic/Evil klasse A/B-test. Hier vindt je de daadwerkelijk willekeurige test en de multi-armed bandit aanpak van A/B-testen. Deze aanpak zegt “laten we alle ontwerpers ontslaan en het aan de computers overlaten om uit te vogelen hoe we het meeste geld kunnen verdienen”. This approach says, let’s just get rid of all the designers and let the computers figure out how to make us the most money. Waarom zou je voor één tint blauw kiezen als je 41 verschillende tinten blauw kunt testen? Wat? Gebruikers? Zij stemmen met hun portemonnee – wat kan er nu mis gaan?
De eindstrijd
In het leven, net als in Dungeons & Dragons, kies je wat voor een soort persoon jij zult zijn, de keuzes die je gaat maken en de acties die je gaat ondernemen. Of je nu een pad van verlichting of dat van duisternis kiest, dit zal invloed hebben op hoe anderen jou zien en of ze je willen helpen of hinderen in wat je probeert te bereiken.
A/B-testen is een hele krachtige tool geworden voor ontwerpers die onzekerheid zo veel mogelijk uit hun werk willen verbannen. Maar het kan ook aantrekkelijk zijn om te proberen echt alle dingen om te gooien en de statistieken de keuzes te laten maken. Maar, hoewel testen je kunnen vertellen of iets wel of niet werkt, kunnen ze je niet vertellen waarom, of suggesties doen voor een alternatieve aanpak en een volgende test die beter gaat werken. Daar heb je ontwerpers voor nodig die gemotiveerd zijn om dingen beter te maken voor hun gebruikers door goede dingen, betere dingen, te maken. Goede designers, zowel moreel als in talent.
Het boek Dungeon Master for Dummies, door Wizards of the Coast’s eigen James Wyatt, Bill Slavicsek en Richard Baker, zegt het volgende over alignments:
Frankly, we’ve found that evil alignments are better left to the monsters and villains; player character parties work out better when the characters take on good alignments or stay unaligned. Motivations for adventures come together easier, character interaction goes more smoothly, and the heroic aspects of D&D shine through in ways that just don’t happen when players play evil characters.
In Dungeons & Dragons, en in het leven, leidt de keuze voor Goed tot meer pure motivaties, betere interacties met je collega’s en als ontwerper ben je de held in plaats van de vijand.
En wie wil er nu geen held zijn?
