Op Conversion Hotel op Texel sprak optimization expert Craig Sullivan. Op zaterdagochtend om 10.00 uur sprak hij over “Deze A/B-testen slaan nergens op”, over hoe sommige bedrijven een potje maken van hun A/B-testen. In dit artikel op webanalisten.nl hebben we een aantal tips uit zijn presentatie samengevat, een link naar zijn slides, een video-samenvatting van Craig zijn presentatie en als eerste een kort video-interview.

Video interview Craig Sullivan

Learnings van Craig Sullivan zijn presentatie

• Maak een financieel model
  Of je nu werkt als een consultant of simpelweg als een conversie expert voor een bedrijf, is dit heel logisch. Voordat je begint met een test is het goed om de mogelijke impact te berekenen die je testinspanningen kunnen hebben. Test het met de benodigde middelen en de moeilijkheid van de implementatie. Het maakt een enorm verschil of een landingspagina 100 bezoekers per dag heeft, of 1.000 bezoekers per dag. In het laatste geval kan je enorm veel extra omzet krijgen met slechts een kleine verbetering in je conversiepercentage. Denk als een winkeleigenaar.
• Verzamel je inzichten uit vele bronnen
  Er is altijd de discussie over tijd vs geld, maar over het algemeen is het beter om je hypothese te formuleren op basis van meer betrouwbare bronnen.

  Dit framework laat je zien wat voor een verschillende data-omgevingen je aan kunt denken:
  Zorg er voor dat je de testideeën brainstormt met een variatie aan mensen binnen je organisatie. Focus je aandacht niet alleen op usability experts of online-gerichte mensen.

• Integreer je test tool met Analytics
  Er zijn vandaag de dag veel verschillende test tools, maar in mijn ervaring zijn er twee echt goede tools voor A/B-testen: Visual Website Optimizer (leer hoe je deze kunt integreren met Google Analytics) en Optimizely (leer hoe je deze kunt integreren met Google Analytics).

  Een Analytics integratie helpt om:
  – Testproblemen te onderzoeken
  – Je resultaten te segmenteren (bron van verkeer, bezoekerstype, land, browser, type apparaat)
  – Ontdek de gemiddelden van je test resultaten

• Bereken vooraf de lengte van je test
  Als je maar 100 bezoekers per dag op je website ontvangt moet je je niet bezig houden met kwantitatieve A/B-tests. Het kost simpelweg te lang om een betrouwbare winnaar te krijgen. Twee bronnen die je kunnen help om de duur van een A/B split test te berekenen zijn de VWO A/B split test duration en de the A/B testguide calculator.
• Concludeer je test niet te vroeg
  Bij 95% significantie stuurt (bijna) iedere test tool je een bericht: je hebt een winnaar. Maar wow, dit is eigenlijk echt slecht. Vaak heb je nog niet genoeg conversies per variant om dit te kunnen bepalen.

  Als vuistregel zeggen we dat je tenminste 250 conversies per variant (segment) moet hebben.

  Significantie niveau = gerelateerd aan false positives (je komt tot de conclusie dat je een winnaar hebt, maar dit klopt niet)
  Power niveau = gerelateerd aan false negatives (er is een winnaar, maar je herkent deze niet)

  Het is beter om false negatives te hebben dan false positives. Echter, je moet natuurlijk de kans op beiden proberen te verkleinen. Ik raad dan ook deze online calculator te gebruiken (klik op de afbeelding om naar de A/B Testguide website te gaan):
  

• Acht regels over stoppen
  1. Minimum testduur is twee business cycli en één aankoopscyclus
  2. Minimaal 250 conversies per variant
  3. Meer conversies zijn nodig als het relatieve verschil klein is
  4. Test altijd volledige weken (begin dus niet op een maandag en stop op een vrijdag)
  5. Gebruik een calculator voor het berekenen van de lengte van de test
  6. Bepaal de tijd dat je de test gaat runnen
  7. Analyseer de data
  8. Test door als je niet genoeg data hebt
• Segmenteer je resultaten voorzichtig
  Het kan zijn dat een test in zijn geheel geen winnaar naar voren brengt. Maar, als je je test nog niet hebt gesegmenteerd, zul je echt dieper de segmenten moeten gaan analyseren.

  Segmenten kunnen elkaar opheffen -> resultaat: geen zichtbare winnaar!

Bovenstaande punten komen uit het 31 learnings van Conversion Hotel artikel dat blogger Paul Koks schreef op zijn website.

Bekijk de slides van Craig’s presentatie op ons slideshare account.

Video samenvatting van Craig Sullivan’s keynote

Wil jij ook bij Conversion Hotel 2015 zijn?

Vul hieronder je e-mailadres in en ontvang als eerste de early bird korting notificatie!