Pas daar heel erg voor op! First of all: testen moet je doen, a/b testing, multivariate testing: zie geen drempel, gewoon doen! Door het gratis Google website optimizer is de drempel in ieder geval al een stuk lager geworden, maar….. denk wel goed na wat je doet, want voordat je het weet trek je onjuiste conclusies en pas je je website aan met iets dat helemaal niet goed werkt. Overigens is het niet de tool die de fouten maakt, het is de mens die de data verkeerd interpreteerd.

Ik werd gewezen op een artikel van/op 37signals. Zij schrijven over een middels website optimizer uitgevoerde A/B test op de headline van het sign-up pagina voor het product Highrise:

Een hele logische test die ze hebben uitgevoerd. Er is nagedacht over een aantal variaties die beter zouden kunnen converteren en ze zijn van start gegaan. Ik was blij om te lezen ze aan het experimenteren waren geslagen, maar zag direct een drietal valkuilen die zij, als niet experts in testen, niet hebben gezien. Deze valkuilen wil ik graag met je delen:

1. “We zijn gestopt na 4000 pageviews omdat de percentages niet meer echt wijzigden.” Een aanname die je niet zomaar kunt maken! Pas wanneer er sprake is van statistische significatie weet je zeker dat je kunt aannemen dat de winnaar ook in een volgende test (bij gelijke omstandigheden..) zal winnen van de verliezer.
2. Conversiepunt. Het wordt uit de tekst niet duidelijk, maar het zou zo maar kunnen dat ze een test hebben gehouden waarin wordt gekeken naar de meeste kliks naar de volgende stap in het aavraagproces (in plaats van de volledige voltooing van de bestelling). Dit is per definitie onjuist. de tagline “nu geheel gratis”, zal dan een zekere winnaar zijn van de test, maar de daadwerkelijk verkoop neemt niet toe, waarschijnlijk zelfs af, omdat de bezoekers boos afhaken (produkt blijkt niet gratis te zijn). Optimaliseer een funnel bij voorkeur dan ook van achter naar voren. Eerst de laatste stap en aan het einde de eerste. Bij 37 signals zijn ze verkeerd om begonnen.
3. Geen segmentatie. Website optimizer ondersteunt geen segmentatie, maar je kunt vanuit je cms natuurlijk zorgen dat maar een bepaalde deel van je bezoeker verschillende testversies van een pagina te zien krijgt (mits er een koppeling met statistieken / webanalytics is). De uitgevoerde test is een test op het totale bezoek, terwijl als je dan toch aan het begin van de funnel wilt testen: zorg dan dat de bezoeker voordat hij doorklikt naar de testpagina via verschillende soorten content invalshoeken de testpagina kan bereiken. Op dat moment kun je dezelfde test uitvoeren op verschillende herkomsten (getargetde a/b tests) en zul je zien dat een verliezende headline bij het ene bezoekerssegment de winnaar is bij de andere! Trek dus geen voortijdige conclusies waarin je bepaald dat een tagline niet goed is. Misschien niet goed voor het gehele publiek, maar wel voor een deel hiervan!