In de praktijkcase van Gratisadviseurs.nl is inmiddels het tweede experiment afgerond. De opzet en uitkomsten wil ik uiteraard weer graag met jullie delen.

De situatie tot nu toe
In de ideale wereld van Gratisadviseurs.nl zou een bezoeker niet mogen bouncen. Indien iemand het antwoord vindt op zijn of haar vraag is het wenselijk dat de bezoeker het antwoord beoordeeld. Indien het antwoord niet wordt gevonden zou de bezoeker moeten converteren naar een vraagsteller. In een van de eerdere artikelen hebben we daarnaast gesproken over de toevoeging van een bounce-rate script welke bezoekers die langer dan x-tijd op de pagina vertoeven niet als bounce worden gezien.

Hieronder een overzicht van de eerder verschenen artikelen:

Deel 1: Doelstellingen
Deel 2: Data-analyse
Deel 3: Optimalisatiekansen identificeren
Deel 4: Opzetten van een experiment
Deel 5: Hypothesen
Deel 6: Een betere kijk op de bounce-rate
Deel 7: Resultaten experiment 1

Experiment 2: Van bezoekers naar ´vraagsteller´
Het tweede experiment heeft als doel om meer bezoekers te converteren naar vraagsteller. We willen onderzoeken in hoeverre kleine aanpassingen aan de inhoud (titel en tekst) invloed hebben op deze conversie.

Doelstelling:
Conversie van bezoeker naar vraagsteller verhogen

Hypothesen:
1. Door de ´Vraag stellen?´ titel te wijzigen en het gratis aspect te benadrukken zal de conversie van bezoeker naar vraagsteller toenemen.

2. Door de tekst onder de ´Vraag stellen?´ mogelijkheid te wijzigen of weg te laten zal de conversie van bezoeker naar vraagsteller toenemen.

De varianten
De variant bij hypothese 1 ziet er als volgt uit:

En de varianten bij hypothese 2 zijn:

Inrichten van het experiment
Het experiment is uitgevoerd met Google Website Optimizer. De eerste stap in de inrichting van een experiment binnen Website Optimizer is het identificeren van de experimentpagina´s. In dit geval zal het experiment worden uitgevoerd op alle vraag/antwoord pagina´s binnen Gratis Adviseurs (bijvoorbeeld: http://www.gratisadviseurs.nl/question.php?id=69684). De conversie waaruit het succes vervolgens wordt afgeleid is het daadwerkelijk insturen van een vraag.

Om het experiment werkend te krijgen wordt er op de testpagina’s een ´beheerscript´ en een ´traceerscript´ geïmplementeerd en rondom de te variëren elementen worden de paginasecties ook van een script voorzien. Deze laatste scriptjes zien er in het voorbeeld van GratisAdviseurs als volgt uit:

<div style=’margin-right: 20px;’><h4><a href=’/zakelijk-&-financieel/advocaten/burenrecht-advocaat/topic_post_question.html’><script>utmx_section(‘Vraag stellen titel’)</script>

Vraag stellen? > </noscript>      </a></h4> <script>utmx_section(‘Vraag stellen introtekst’)</script>

Stel online je vraag in de rubriek Burenrecht advocaat en krijg online een antwoord van de specialist in Burenrecht advocaat<br><br>     <b>Zelf een vraag over Burenrecht advocaat? </noscript> <a rel=’nofollow’ href=’/zakelijk-&-financieel/advocaten/burenrecht-advocaat/topic_post_question.html’>Klik hier.</a></b><br>          <b>Meer vragen over <a href=’/zakelijk-&-financieel/advocaten/burenrecht-advocaat.html’>Burenrecht advocaat.</a></b>               </div>

Op de conversiepagina wordt tenslotte een conversiescript toegevoegd.

De volgende stap is de varianten in het systeem plaatsen, een controle uitvoeren en aangeven hoeveel traffic je mee wilt nemen in het experiment. In dit geval hebben we ervoor gekozen om 100% van de bezoekers aan Gratisadviseurs.nl in het experiment te betrekken. Gezien de hoeveelheid combinaties (5) en het aantal bezoekers op de website kunnen we dan binnen enkele dagen statistisch betrouwbare uitspraken doen over de varianten.

Op basis van de bovengenoemde varianten zijn er 5 mogelijke combinaties (+ origineel):

Origineel:

Vraag stellen?
Stel online je vraag in de rubriek Burenrecht
advocaat en krijg online een antwoord van de
specialist in Burenrecht advocaat.

Combinatie 1: (nieuwe titel)

Stel hier gratis je vraag
Stel online je vraag in de rubriek Burenrecht
advocaat en krijg online een antwoord van de
specialist in Burenrecht advocaat.

Combinatie 2: (oorspronkelijke titel + nieuwe tekst)

Vraag stellen?
Stel hier gratis je vraag en krijg snel antwoord
van een specialist.

Combinatie 3: (nieuwe titel + nieuwe tekst)

Stel hier gratis je vraag
Stel hier gratis je vraag en krijg snel antwoord
van een specialist.

Combinatie 4: (oorspronkelijke titel + geen tekst)

Vraag stellen?
Geen introtekst

Combinatie 5: (nieuwe titel + geen tekst)

Stel hier gratis je vraag
Geen introtekst

De uitslag; een kleine aanpassing met een groot resultaat
Het experiment is live gezet en binnen enkele dagen waren er genoeg resultaten om met voldoende statistisch vertrouwen winnaars aan te wijzen. We hebben het experiment in totaal iets meer dan een week laten lopen om in ieder geval ook een weekend mee te pakken.

In bovenstaand overzicht is te zien dat eigenlijk alle combinaties beter scoren dan het origineel waarbij combinatie 3, 1 en 5 de grootste verbetering veroorzaken. De waargenomen verbetering van combinatie 3 is de best scorende in de reeks en middels een vervolgexperiment hebben we deze combinatie nogmaals getest tegen het origineel om er uiteindelijk zeker van te zijn dat de nieuwe combinatie ook voor meer gestelde vragen zou zorgen. De resultaten van deze vervolgtest staan hieronder:

De uitkomst van deze vervolgtest is dat combinatie 3 (nieuwe titel en nieuwe tekst) 99,2% kans heeft om beter te presteren dan het origineel en voor 18,6% meer conversie zorgt. De conversie van bezoeker aan de vraag/antwoord pagina naar vraagsteller stijgt van 1,75% (origineel) naar 2,08% bij het inzetten van combinatie 3. Een kleine aanpassing in titel en tekst met een groot effect op het aantal binnenkomende vragen!

De winnende combinatie