Het ontwikkelen van doordachte A/B testen en het op de juiste manier analyseren van de resultaten vergt de nodige kennis en ervaring.

Er zijn tientallen zaken die mis kunnen gaan in het A/B testproces.

In dit artikel behandel ik de eerste valkuil: testen op de verkeerde plaats.

Met als doel je te helpen de meest relevante pagina’s voor A/B testen onderbouwd te selecteren. Je wilt tenslotte het maximale rendement uit de testcapaciteit halen.

Data analyse staat hierbij centraal.

Analytics kennis

Om deze analyse goed uit te kunnen voeren, dien je niet alleen over kennis te beschikken over A/B testen (CRO) , maar ook voldoende Analytics kennis in huis te hebben.

Binnen deze blogpost neem ik Google Analytics als analysepakket als uitgangspunt.

Kennis van een viertal Google Analytics features is een must bij het maken van deze data analyse.

Aangepaste rapporten

Binnen Google Analytics zijn een groot aantal standaard rapporten beschikbaar.

Daarnaast kun je zelf op basis van een of meerdere dimensies en statistieken een aangepast rapport aanmaken.

Aangepaste rapporten zijn onmisbaar voor data analisten.

Segmenten

Naast aangepaste rapporten is een goede kennis van segmentatie cruciaal.

Door segmenten op de juiste manier toe te passen, kun je de voor jou meest relevante gegevens moeiteloos boven water krijgen.

Binnen segmenten worden standaard en aangepaste segmenten onderscheiden.

Lees dit artikel als je meer wilt weten over segmenten.

Filters

Tevens is kennis van filters erg handig.

Door een data weergave aan te maken gekoppeld aan jouw IP adres, kun je jouw website gedrag eenvoudig volgen in de (real-time) rapporten van Google Analytics.

Dit helpt je bij het maken van deze data analyse.

Reguliere expressies

Reguliere expressies zijn belangrijk bij onder meer:

• Het opzetten van doelen
• Het aanmaken van filters
• Het aanmaken van segmenten
• Het selecteren en analyseren van data

Lees deze uitgebreide reguliere expressies guide als je alles te weten wilt komen over dit onderwerp.

Stappen voor bepalen A/B testpagina’s

Als je voldoende kennis hebt (opgedaan) van deze vier features in Google Analytics, is het tijd om te starten met de daadwerkelijke analyse.

Deze analyse heb ik ingedeeld in een viertal stappen.

1. Identificeren pagina templates

Sommige websites zijn opgebouwd uit twintig pagina’s, andere websites bestaan uit duizenden pagina’s.

Het analyseren van iedere individuele pagina zou veel tijd kosten en is tevens niet effectief.

In dit verband introduceer ik het begrip pagina template.

Als voorbeeld een e-commerce website. Deze is opgebouwd uit verschillende type pagina’s.

Startend met de homepage en dichter bij de conversie doorloop je enkele checkout pagina’s.

Schematisch ziet het er vaak zo uit:

De productpagina is een goed voorbeeld. Als je op deze pagina gaat testen, wil je dat op template niveau doen en niet op een individuele productpagina.

Hiermee reduceer je het aantal pagina’s (pagina types) dat voor testen in aanmerking komt.

Tevens vergroot je het bereik (zowel in unieke bezoekers als op conversie) als je op template niveau test.

Gebruik Excel

Het in kaart brengen van de verschillende pagina types adviseer ik in Excel te doen.

Zeker als externe consultant brengt deze stap nog extra voordelen met zich mee.

Denk aan het beter begrijpen van de site structuur en het identificeren van issues/kansen. Je kunt deze informatie direct verwerken in je Excel document.

2. Vaststellen segmenten

Voordat je begint met de cijfermatige analyse, dien je te besluiten over de segmenten die je in de analyse wilt betrekken.

Om het niet direct te complex te maken, adviseer ik het aantal verschillende segmenten/dimensies dat je toepast te beperken.

Echter, zorg er tenminste voor dat je helder hebt op welke apparaten je wilt gaan testen.

Maak daarbij een onderscheid tussen desktop, tablet en mobiel en kies een of meerdere apparaten.

Neem vervolgens de data van deze apparaten mee in je analyses en latere berekeningen. Als je enkel gaat testen op desktop, wil je niet de data van tablet en mobiel meenemen binnen de analyse.

3. Selecteren meetperiode

Om je analyse zo betrouwbaar mogelijk te maken, kun je het beste een periode kiezen van drie tot zes weken. Hierdoor haal je de fluctuatie in de prestatie van verschillende pagina’s naar een acceptabel niveau.

Daarnaast, kies voor een stabiele periode en selecteer niet twee weken voor een redesign en de twee weken daarna.

Tip: mijn advies is om deze analyse periodiek te herhalen.

4. Aparte dataweergave in Google Analytics

Als je een goed beeld hebt van de website in kwestie, is het raadzaam binnen Google Analytics een data weergave op te zetten met een “include” filter op jouw IP adres.

Hiermee kun je zowel real-time als later in de rapporten in Google Analytics goed zien welke pagina’s je bekeken hebt en hoe ze terugkomen in Google Analytics.

Tevens is het handig om Google Tag Assistant te gebruiken om te zien of e.e.a. correct gemeten wordt.

Voor diegenen die minder bekend zijn met filters, hieronder een voorbeeld van een “include” filter op IP adres:

Voeg dit filter toe aan een data weergave en je zult alleen jouw website gedrag terugzien in de data.

Erg nuttig – zeker voor high traffic websites – wanneer je in Google Analytics wilt analyseren hoe e.e.a. daadwerkelijk gemeten wordt.

Case study data analyse

Nu je de voorbereiding succesvol afgesloten hebt, is het tijd om de daadwerkelijke data analyse uit te voeren.

Om de belangrijkheid van een pagina in te schatten, dien je de volgen statistieken op paginaniveau bepalen:

• Gebruikers per pagina (aantal gebruikers dat op pagina X is geweest)
• Conversies per pagina (aantal gebruikers dat geconverteerd heeft en pagina X gezien in de conversie journey)
• Omzet per pagina (omzet gebruikers waarbij pagina X in de conversie journey gezien is)

Voor de eerste twee statistieken presenteer ik de data van mijn marathon website.

Gebruikers per pagina

Standaard toont Google Analytics het volgende pagina rapport:

Als je op gebruikersniveau gaat A/B testen, is het belangrijk om ook op gebruikersniveau de pagina’s te analyseren.

Daarvoor kun je het volgende aangepaste rapport gebruiken:

In dit geval dien je de gebruikers per pagina te noteren, bijv. in Excel. Voor de volledigheid heb ik sessie statistieken (paginaweergaves en unieke paginaweergaves) ook meegenomen.

Note: ervaren Google Analytics gebruikers kunnen tevens gebruikmaken van de Google Analytics API (gekoppeld aan Google sheets) om de data geautomatiseerd te verwerken.

De volgende stap is het bepalen van het aantal conversies (en/of transacties) die via een bepaalde pagina plaatsvinden.

Conversies per pagina

Het afleiden van de conversies per pagina werkt voor iedere website in principe hetzelfde. Echter, heb je een e-commerce website, dan focus je je vaak op transacties. Anders op een of meerdere doelen.

Voor het gemak heb ik me binnen deze analyse gefocust op doelen:

Nu heb je zowel de gebruikers als unieke gebruikers die converteren per pagina.

Binnen Excel of een andere tool kun je de conversie ratio bepalen op gebruikersniveau. Dan weet je direct ook wat de absolute potentiële uplift is.

Stel, de huidige conversie ratio is 10%; in theorie kun je dan absoluut gezien nog 90% winnen want de maximale CR (in theorie) is voor iedere pagina 100%.

Waar A/B testen

Hoe hoger de potentiële absolute uplift die je nog kunt behalen op een bepaalde pagina, hoe interessanter de pagina is voor A/B testen.

Omzet per pagina

Voor websites waarbij omzet (of in ieder geval de e-commerce module) een rol speelt, kun je nog een extra statistiek bepalen.

Als je de omzet mee wilt nemen in het bepalen van A/B testpagina’s, is het verhaal complexer.

Je kunt namelijk niet standaard de omzet van of via een pagina op gebruikersniveau uitrekenen. Om dit te bewerkstelligen, dien je segmenten op paginaniveau aan te maken.

Binnen de marathon website werk ik niet met de e-commerce module.

Dus ik gebruik hieronder een ander voorbeeld van een website waarbij de e-commerce module wel in gebruik is.

Voer de volgende stappen uit:

• Navigeer naar rapport Conversies >> E-commerce >> Overzicht.
• Maak het pagina segment aan waarvoor je de omzet wilt bepalen.
• Noteer de overall omzetwaarde en deze waarde van iedere relevante pagina in Excel.

Een voorbeeld is hieronder weergegeven:

Voor deze e-commerce speler is de totale omzet € 1.012.665,76.

De omzet waarbij de pagina “aanbieding” gezien is, bedraagt € 545.977,97.

Het omzetaandeel waarbij de pagina “aanbieding” betrokken is, gelijk is aan 54%.

Waar A/B testen

Hoe hoger het relatieve omzetaandeel van een pagina, hoe interessanter de pagina is om A/B testen op uit te voeren.

Andere factoren

Naast de potentiële uplift in conversie (en omzet) die je op een bepaalde pagina of template kunt behalen, spelen er diverse andere factoren een rol bij de keuze waar je gaat testen.

Neem in je beslissing in ieder geval de volgende factoren mee:

• Conversie afstand
• Politieke gevoeligheid
• Technische complexiteit

Conversie afstand

In veel gevallen ligt de homepage het verste van het conversie punt en de laatste funnel pagina (bij e-commerce websites) het dichtste bij de conversie.

Heb je te maken met een leadgeneratie website, dan zal het formulier vaak het dichtste bij het conversie punt liggen.

Waar A/B testen

Hoe dichter de pagina tegen het conversie punt aanligt, hoe interessanter de pagina is om op te A/B testen.

Politieke gevoeligheid

Binnen een organisatie zijn vaak meerdere afdelingen betrokken bij het reilen en zeilen van de website.

De homepage zou bijv. heel goed naar voren kunnen komen op basis van de analyse die je eerder gedaan hebt.

Maar wat als de homepage politiek erg gevoelig ligt binnen de organisatie?

In dit geval dien je de homepage wat lager te beoordelen en te overwegen hier niet of in ieder geval minder vaak te testen.

Eventueel kun je beginnen op andere pagina’s waar je verwacht een iets minder groot effect te kunnen bereiken.

Bij bewezen succes kun je vaak ook de HiPPO (Highest Paid Person’s Opinion) overtuigen om toch op de homepage te gaan testen.

Waar A/B testen

Hoe lager de politieke gevoeligheid van testen op een bepaalde pagina, hoe interessanter het is om op die pagina te A/B testen.

Technische complexiteit

Is het vanwege technische redenen op sommige pagina’s lastiger te testen en om eventuele winnaars te implementeren?

Of is dit geheel afhankelijk van het type test dat je wilt gaan doen?

Beoordeel zelf of je hier beren op de weg ziet en neem ook deze factor mee wanneer je besluit om al dan niet op een bepaalde pagina (template) te gaan testen.

Waar A/B testen

Hoe lager de technische complexiteit bij testen en implementeren van testwinnaars op een bepaalde pagina, hoe interessanter om op deze pagina A/B testen uit te voeren. Bepaal dit op pagina en/of testniveau.

Conclusie

Om doordacht en succesvol te A/B testen dien je over de nodige kennis te beschikken.

Zowel ervaring met conversie optimalisatie als data analyse zijn cruciaal.

De methodiek en adviezen binnen dit artikel vormen een manier om te bepalen op welke pagina’s je je A/B testen uitvoert.

Ik hoop dat je door dit artikel beter onderbouwd het volgende testtraject ingaat en de valkuil – het testen op de verkeerde plaats – vermijdt.

Welke methode(s) gebruik jij om te bepalen waar je de volgende A/B test uitvoert?