Je bent bezig met A/B-testen of je wil er mee starten. Je gebruikt een tool als VWO of Optimizely. Ga dan niet alleen maar uit van de resultaten en data die deze tools je bieden. Met alleen deze informatie kun je namelijk geen goede conclusies maken. Stuur daarom altijd een event mee naar je analytics tool. Hoe je dit precies doet en waarom je dit echt altijd moet doen, lees je hier.

Analyses maak je niet in je test tool

Testing tools maken testen gemakkelijker maar de resultaten na een test analyseren vergt toch echt meer dan alleen de samenvatting die zij je bieden. De tools bieden je wel steeds meer mogelijkheden met pre-defined segmentatie maar dit is ook niet genoeg.

Welke learnings kun je hier uithalen? Eigenlijk alleen of je een winnaar, verliezer of geen verschil hebt behaald.

Je moet een integratie maken met je analytics tool

Met elke goede test tool kun je een integratie maken met je analytics tool. Met VWO gaat dit tegenwoordig met een custom dimension. Sommige gebruiken een custom variabelen. Dit gebeurt niet automatisch dus wees daar scherp op! De tools hebben hier uitgebreide handleidingen voor.

Ingebouwde integraties met bijvoorbeeld Google Analytics zorgen ervoor dat je de data (hoeveel bezoekers je control of variatie hebben gezien) ook in je Google Analytics hebt staan, waardoor je diepere analyses kunt maken. Maar deze ingebouwde integraties zijn niet altijd even solid. Er komt vaak 20-30% discrepantie voor; de data vanuit een testtool wordt niet altijd doorgegeven. Dit kan verschillende redenen hebben, maar het enige dat je nu even moet weten is dat je niet alle vertrouwen moet hebben in de gegeven oplossing van een test tool.

Vuur een event af bij elke variatie

Er is een simpele maar doeltreffende oplossing. Vuur een event af elke keer dat een variatie wordt geladen. Dit doe je heel eenvoudig met een extra stuk javascript. In VWO ga je naar je test toe (deze actie voer je dus bij elke A/B-test uit) waardoor je vervolgens naar de editor gaat.

• Ga naar settings en klik dan op variations
• Je klikt op edit bij V1
• Je klikt op ‘edit code’
• Je klikt op Campaign JS/CSS
• Bij pre-campaign JS plaats je het script.

Dit script kun je gebruiken:

vwo_$(function () {
var _vis_opt_queue = window._vis_opt_queue || [], _vis_counter = 0;
_vis_opt_queue.push(function() {
try {
if(!_vis_counter) {
var _vis_data = {},_vis_combination,_vis_id,_vis_l=0;
for(;_vis_l<_vwo_exp_ids.length;_vis_l++) {
_vis_id = _vwo_exp_ids[_vis_l];
if(_vwo_exp[_vis_id].ready) {
_vis_combination = _vis_opt_readCookie(‘_vis_opt_exp_’+_vis_id+’_combi’);
if(typeof(_vwo_exp[_vis_id].combination_chosen) != “undefined”)
_vis_combination = _vwo_exp[_vis_id].combination_chosen;
if(typeof(_vwo_exp[_vis_id].comb_n[_vis_combination]) != “undefined”) {
ga(‘send’,’event’,’VWO’,_vis_id,_vwo_exp[_vis_id].comb_n[_vis_combination],{‘nonInteraction’: 1});
_vis_counter++;
}
}
}

}
}
catch(err) {};
});
});

Je kunt het natuurlijk naar je eigen zin aanpassen. Het script wordt automatisch op al je variaties plus de control geplaatst.

Event komen binnen in Google Analytics

Categorie = VWO
Actie: VWO campagne nummer (het nummer wat VWO automatisch aan je test geeft
Label: De namen van je varianten (geef ze dus altijd duidelijke namen mee, dat heb je zelf in de hand)

Je testen komen allemaal op een rij te staan en als je er op één klikt dan zie je wat de control en de variaties hebben gepresteerd.

Maak een aangepaste rapportage

Met een aangepaste rapportage kun je al je test data en jouw belangrijkste statistieken gestructureerd op een rij zetten. Hier een e-commerce voorbeeld die je kunt gebruiken.

Wat is de toegevoegde waarde van je A/B-test analyseren met behulp van events?

Je wilt weten of een test baat heeft gehad bij een bepaald segment. Je hebt dan misschien wel geen significant resultaat behaald op je overall test, maar wellicht heb je bij een bepaalde groep mensen wel je resultaat behaald.

Let op: Als je gaat segmenteren zorg dan al helemaal voor een grote hoeveelheid conversies bij elke variatie. Bij elke segmentatie wordt het aantal conversies natuurlijk weer kleiner en dan heb je vaak geen significantie te pakken.

• Segmenteer bijvoorbeeld op device: mobiel/desktop/tablet
• Segmenteer bijvoorbeeld op traffic source
• Geavanceerd: Segmenteer op CRM data die je importeert naar je webanalytics tool

Ook is het fijn om naast de ingebouwde integratie, wat dus niet altijd voor zuivere data zorgt, nog een bron van data te hebben. Altijd zeker van data dus. Een derde toegevoegde waarde voor mij is dat het werken met events het prettigst is. Het overschrijft een test bijvoorbeeld niet zoals je wel hebt als je custom dimensions gebruikt (je moet dan met meerdere dimensions werken als je meerdere testen tegelijk draait).

Veel succes met testen!