In een van de voorgaande artikelen over deze optimalisatiecase hebben we een experimentopzet beschreven waarin we besloten te kijken naar de invloed die de indeling van de pagina heeft op de bounce-rate van de website. Dit experiment loopt inmiddels en er zijn een aantal ontwikkelingen die ik met jullie wil delen.

Een betere kijk op de bounce-rate
Het overgrote deel (94%) van de site-bezoekers op gratisadviseurs.nl komt binnen via een zoekmachine en landt direct op een vraag/antwoord pagina. Indien een bezoeker vervolgens langer dan 30 seconden naar deze pagina kijkt dan kunnen we wellicht spreken van een geïnteresseerde bezoeker die misschien zijn/haar vraag ook wel beantwoord ziet en daarmee succesvol is. Door het toevoegen van een script aan de pagina worden deze 1 paginabezoeken van 30 seconden of meer niet meer als een bounce gezien op gratisadviseurs.nl. Dit script ziet er als volgt uit (met dank aan Joost de Valk):

onload=”setTimeout(‘pageTracker._trackEvent(\’Still Viewing:\’, window.location)’,30000)

Na implementatie van het script daalde de bounce-rate van 68% naar 38%. Deze 38% zijn dan dus bezoekers die slechts 1 pagina hebben bekeken en binnen 30 seconden weer zijn vetrokken.

We blijven er naar streven om deze bounce-rate verder te verlagen omdat een bezoeker idealiter niet mag ´bouncen´ op deze site. Wordt er een antwoord op de vraag gevonden dan zou de bezoeker moeten stemmen op de kwaliteit van het antwoord. En wordt er geen antwoord gevonden dan zou de bezoeker moeten converteren in een vraagsteller, gerelateerde vragen moeten aanklikken of bijvoorbeeld naar een categorie kunnen klikken.

Het bounce-rate experiment

Hypothese
Door de indeling van de vraag/antwoord pagina om te draaien waardoor de vraag, het antwoord en de gerelateerde vragen bovenaan komen te staan wordt de zichtbaarheid van de belangrijkste informatie vergroot (vraag & antwoord, gerelateerde vragen en waardering antwoord) waardoor de bezoeker beter getriggerd wordt om door te klikken. De informatie over de beheerder, e-mail, rss-feeds etc. zal hierdoor naar beneden verhuizen. Dit alles moet een daling van de bounce-rate tot gevolg hebben.

Lees hier over de achtergrond rondom dit eerste experiment en bekijk de schermvoorbeelden.

Het experiment wordt uitgevoerd met de Google Website Optimizer. Omdat je hiermee een experiment niet kan beoordelen op een eventuele wijziging in de bounce-rate hebben we Google Website Optimizer alleen gebruikt om de 2 paginavarianten willekeurig aan de bezoeker te presenteren. Hiertoe hebben we een A/B test aangemaakt met:

Variant A (controle variant): http://www.gratisadviseurs.nl/question.php?id=44208 (en alle andere id´s)

Variant B (nieuwe variant): http://www.gratisadviseurs.nl/questionnew.php?id=44208 (en alle andere id´s)

De bounce-rate van de 2 varianten hebben we vervolgens vergeleken in Google Analytics. 

Het resultaat
Om de uitkomsten in Google Analytics goed te kunnen vergelijken zijn er 2 segmenten aangemaakt.

Segment 1 (Control) = Pagina bevat ´question.php?id=´
Segment 2 (Variant B) = Pagina bevat ´questionnew.php´

Als we dan beide segmenten over de Google Analytics data leggen dan zien we het volgende resultaat:

We zien een enorme daling in bounce-rate naar 0,74%!! Geweldig!! Of toch niet? Beetje ongeloofwaardig is het wel zo´n lage bounce-rate. De verklaring hiervoor ligt in het feit dat de Google Website Optimizer een bezoeker van de controlepagina redirect naar de nieuwe variant. Hier wordt dan vervolgens nooit een bounce geregistreerd, er zit immers een pagina voor. Google Analytics registreert dus altijd 2 paginaweergaves indien een bezoeker een variantpagina ziet.

Om een zuiverder beeld te krijgen van de data is tevens gekeken naar de 2 variantpagina’s als bestemmingspagina en dus zijn er 2 nieuwe segmenten in Google Analytics aangemaakt:

Segment 1 (Control bestemming) = Bestemmingspagina bevat ´question.php?id=´
Segment 2 (Variant B bestemming) = Bestemmingspagina bevat ´questionnew.php´

De uitkomst van deze segmentatie:

Door te kijken naar bestemmingspagina´s sluiten we de voorgaande redirect uit en kijken we alleen naar de bezoekers die als 1e pagina in hun sessie de controle- of variantpagina zien. We zien hier heel andere resultaten en een enorme verslechtering in de bounce-rate van de nieuwe variant (56% t.o.v. 38% op de controlepagina´s). Dit kan uiteraard voorkomen en een slechter resultaat is ook een belangrijke learning. Toch kunnen we op basis van deze data ook geen betrouwbare uitspraken doen. De nieuwe variant is in dit segment ´slechts´ door 1700 bezoekers gezien. En de vraag is hoe deze bezoekers eigenlijk rechtstreeks op deze pagina terecht zijn gekomen? Is deze groep representatief voor de gehele bezoekpopulatie van gratisadviseurs.nl?

De grenzen van de Website Optimizer A/B test?
Lopen we met dit experiment tegen de grenzen aan van de Website Optimzer in combinatie met Google Analytics of zijn er andere mogelijkheden om dit experiment met voldoende betrouwbaarheid uit te voeren?

Ideeën, tips, suggesties en opmerkingen zijn welkom!