12 uur voordat Emerce Conversion 2015 begon werd Ton Wesseling gevraagd om de ochtend keynote van Craig Sullivan over te nemen. Ook Ton neemt ons mee langs mythen, leugens en illusies.

ROAR

1000 conversies per maand..starten maar

Een rule of thumb: Heb je zo’n 1000 conversies per maand? Dan kun je goed gaan A/B-testen en kun je per jaar zo’n 20 testen draaien. Spring niet direct een gat in het plafond want gemiddeld heb je maar op 1 op 3 testen genoeg impact. Van tevoren heb je uitgerekend hoeveel impact je nodig hebt bij een A/B-test. Alleen met genoeg impact heb je significante resultaten en alleen dan heb je een winnaar te pakken. Soms haal je dus niet genoeg impact. Dit komt vaak voor wanneer je kleine dingen gaat testen zoals buttons. Dan zijn 1000 conversies per maand niet genoeg.

Busting the myths

Test geen kleine dingen zoals buttons in deze fase. Je mag ook echt wel een keer een ander design template voor een bepaalde pagina testen.

Stop de test niet wanneer je ziet dat deze significant is. Elke testvariant wordt een keer significant. Zelfs bij een A/A-test zie je dat ze soms even significant zijn.

771 experimenten uit de 1000 bereiken een keer 90% significantie.
531 uit 1000 bereikt een keer 95% significantie.

Laat je test ook niet doorgaan totdat deze significant is. Van tevoren bereken je hoeveel tijd je test moet lopen en daar houd je je aan.

Realiseer dat je met een 90% significante test al 10% niet significante resultaten hebt (false positives). Zakt je succesratio onder de 25% (minder dan 1 op de 4 testen krijgt een winnaar toegekend)? Kijk dan nog eens goed naar je a/b-testen en de opzet want er gaat iets niet helemaal goed.

Bedenk van tevoren wat je gaat analyseren en ga niet als een dolle heel je Analytics uitspitten, op zoek naar een bijzonder resultaat.

Tussen 5000 en 10.000 conversies per maand

Dan kun je je eindelijk op andere dingen focussen. Het testen van details zoals buttons en tekstjes? Liever niet. Wat leer je hier nu van? Ga dit dus niet al teveel doen, ga je bezig houden met deze dingen:

• Je moet meer met de vraag ‘Waarom is deze bezoeker hier?’ bezig gaan. Customer journeys in kaart brengen.
• Een duik nemen in het brein van de bezoekers.Het koppelen van data en psychologie.
• Blijven praten met je klantenservice medewerkers, klanten etc. om dialogen te gaan testen.

Busting the myths

Test liever niet meer dan 2 á 3 weken. Na 2 weken verlies je 10% doordat mensen hun cookies verwijderen. Je krijgt hierdoor vervuiling in je data.

Test op 1 apparaat tegelijk.

Check je test altijd in alle browsers. Vooral IE is een moeilijke.

Denk goed na en test je test vooral wanneer je dynamische content hebt staan.

Neem alleen doelgroepen mee die je kunt beïnvloeden. Test je een promotie banner dan wil je je huidige klanten met een inlog niet meenemen.

Zet de testing code ook op de default pagina. Anders is je testvariant altijd in het nadeel qua snelheid.

Automation en Re-think

Meer dan 10.000 conversies per maand? Dan moet je eens gaan nadenken over automatisering. Het testen via algorithms zoals the multiarmed bandit van Google bijvoorbeeld. Ben je bij re-think aan gekomen dan kan het wel eens tijd zijn voor innovatie.

So keep on going. Testing never stops. I’ts a way of life.

Bekijk hier de gehele presentatie