Alweer ruim twee weken geleden vond voor de derde keer Measurecamp Amsterdam plaats. Het “unconference” event opgericht door Peter O’Neill in Londen, is ondertussen gegroeid tot 21 steden.

Wat mij betreft een van de betere, zo niet het beste event concept wat er is. Je betaalt geen entree, je offert je vrije zaterdag op en iedereen kan een sessie hosten. Zo min mogelijk presentaties, maar juist discussies waarin kennis gedeeld wordt met elkaar en problemen die we in ons dagelijks werk ervaren worden besproken.

Sinds vorig jaar wordt er op de vrijdag al een aantal workshop verzorgd; voor maar €160 euro kan je twee keer een drie-urige workshop volgen over een specifiek topic. Geen geld, als je dit vergelijkt met de gemiddelde kosten voor een opleiding.

Workshop Data driven test strategy

Dit jaar gaf ikzelf een workshop over “Data Driven Test Strategy”. In drie uur tijd nam ik aanwezigen mee door alle stappen die nodig zijn om een A/B test strategie op de juiste manier op te zetten.

Onderwerpen die zijn behandeld in de workshop:

• Wanneer is experimenteren / A/B testen de juist methode om je conversie te verbeteren? En wanneer juist niet?
• Waar op je website moet je starten met experimenteren?
• Hoe prioriteer je alle ideeën en start je met het beste idee als eerste?
• Hoe zet je een experiment / A/B test juist op?
• Verschil tussen Bayesian / Frequentistische statistiek

De groep was een gemengd gezelschap van kleine en grote websites / webshops en ervaren en minder ervaren mensen. Dit zorgde voor leuke discussies en veel verschillende vragen. De aanwezigen hebben mijn workshop met een gemiddeld cijfer van een 8 beloond en ik heb vele positieve reacties ontvangen

Mocht je zelf meer willen leren over het opzetten van een test strategie, bekijk dan eens onze opleiding tot CRO specialist. Waar je in 4 halve dagen wordt meegenomen in de basis van conversie optimalisatie.

Learnings unconference sessies

Na de workshops op vrijdag, was het zaterdag tijd voor de “echte” Measurecamp.

Sessie 1: Customer centric A/B testing door Florian Gendrault van Usabilla

In bijna elke presentatie over conversie optimalisatie komt het onderwerp “Kwalitatieve feedback” wel een keer voorbij. De data (kwantitatieve data) vertelt je wat er gebeurt, maar niet “waarom”.

Voordat er gestart wordt met A/B testen, worden er vaak wel surveys ingezet om het gedrag te verklaren. De inzet van kwalitatieve feedback tijdens A/B testen wordt nog veel minder vaak toegepast.

Gemiddeld gezien heeft 20-30% van de A/B testen een positief resultaat (op basis van mijn ervaringen), laten we zeggen dat nog eens 20-30% van de A/B testen een negatief resultaat heeft. Dit betekent dat ongeveer 50% van de A/B testen geen effect hebben op de belangrijkste KPI (Key Performance Indicator).

Echter levert elke A/B test learnings op die nieuwe inzichten verschaffen voor een volgend experiment. Om te zorgen dat je nog meer leert van elke A/B test is het gebruiken van kwalitatieve feedback in zowel A als B erg waardevol. Je kan dit op een aantal manieren toepassen:

• Customer Effort Score: vraag zowel in A als in B de Customer Effort Score uit. Levert jou A/B test naast een conversie stijging ook een hogere Customer Effort Score op? En wat doe je als deze twee KPI’s tegenstrijdig zijn? Let hierbij wel op dat dit vaak maar door een deel van de bezoekers wordt ingevuld. Zorg er dus voor dat je sample groot genoeg is om wel enigszins betrouwbare data te hebben.

• Exit survey: doe zowel in A als in B een exit survey op de pagina waar de A/B test live staat, om te onderzoeken of de redenen van afhaken verschillen. Dit is zowel afhankelijk van het experiment, als de wijziging.

Sessie 2: #gaserop (opschalen van experimenteren) door Ellen Tonkens van wehkamp

Binnen wehkamp zijn ze sinds dit jaar flink aan het opschalen met het aantal experimenten. #gaserop is de uitdrukking die hiervoor gebruikt wordt binnen wehkamp.

De vraag van Ellen tijdens deze sessie was:
“Wat is er allemaal belangrijk om op te kunnen schalen in het aantal experimenten in de komende jaren?”

Tijdens deze discussie werden er verschillende onderwerpen benoemd, zoals:

• OEC (Overall Evaluation Criteria): zorg voor één metric die binnen de hele organisatie gebruikt wordt om experimenten te beoordelen: het Overall Evaluation Criteria. Dit kan een formule zijn waarin meerdere componenten worden meegenomen, denk hierbij aan conversieratio (uiteraard gebaseerd op users), maar ook attach rate, return rate en de gemiddelde orderwaarde. Het is belangrijk dit criteria vooraf vast te stellen, zodat niet elke uitkomst van een experiment een discussie oplevert. Want wat ga je doen als het conversiepercentage met 2% stijgt, maar de attach rate voor een bepaald product daalt met 3% of de return rate stijgt met 1%? Het opstellen van deze formule kan vrij ingewikkeld zijn, daarom wordt er vaak gebruik gemaakt van één main metric in combinatie met guardrail metrics:
  – Main metric: de belangrijkste metric waarop een experiment wordt afgerekend.
  – Guardrail metrics: sub metrics die naast de main metric ook gecheckt worden in een experiment. Deze metrics moeten niet dermate negatief beïnvloed worden.
• Management buy-in: dit wordt vaak genoemd en klinkt soms bijna cliché, maar blijft heel belangrijk. Als er managers die deze manier van werken omarmen en uitdragen dan helpt het zeker om versneld een cultuur van experimenteren op te zetten.
• Automatisering: het grootste deel van het proces in het opzetten, runnen en analyseren van een experiment moet wel geautomatiseerd worden als het aantal experimenten omhoog gaat. Het is niet meer mogelijk om bij 200 experimenten handmatig te checken of de data goed binnenkomt, of er bugs in de variant zitten. Ook het analyseren van een test kan geautomatiseerd worden.

Sessie 3: hoe zorg je voor een “Experimentation Culture” binnen je bedrijf door Anouk Erens en Tom van den Berg?

Tijdens de “Gas erop” sessie werd er veel gesproken over management buy-in. Daarom hebben mijn collega Anouk Erens en ik nog een sessie gepland over hoe je een experimentation culture creëert binnen je bedrijf. In het kort betekent dit een cultuur waarin kort cyclisch gewerkt wordt en nieuwe ontwikkelingen of ideeën continue getoetst worden door middel van experimenten, ook wel A/B testen genoemd.

Iedereen heeft hier andere ideeën over en er is geen eenduidig antwoord op. Hieronder beschrijf ik een aantal tactieken die genoemd werden tijdens de sessie:

• Lunch & learn sessies: het helpt onwijs om maandelijks een sessie te organiseren en te vertellen waar je mee bezig bent op het gebied van experiment gedreven werken. Hoe zit je proces eruit? Welke resultaten boek je? Hoe kunnen collega’s die geïnteresseerd zijn aanhaken?
• Zoek een promotor: om iedereen enthousiast te krijgen over deze manier van werken, helpt het om binnen afdelingen waarmee je veel samenwerkt iemand te vinden die een twinkeling in z’n ogen krijgt van deze manier van werken. Als daar wel iemand werkt die dat vindt, ga je die persoon voeden met informatie en nog enthousiaster maken zodat het jouw promoter wordt binnen de afdeling en misschien wel daarbuiten.
• Laat de extra waarde zien: door het creëren van een experiment gedreven cultuur komt er binnen het bedrijf meer focus op het aantonen van de waarde van nieuwe ontwikkelingen en experimenten. Vaak is er binnen een IT afdeling veel focus op het live krijgen van nieuwe ontwikkelingen en minder op de uiteindelijke extra waarde. Door deze afdeling te helpen met het aantonen van die waarde en het opzetten van experimenten, gaan ze zien wat de impact is van deze manier van werken binnen hun eigen afdeling.

Maar ook hier geldt wederom dat het helpt om een manager binnen het bedrijf te hebben die deze manier van werken omarmt en uitdraagt naar de rest van de organisatie. Dit zorgt vaak voor een snelle adoptie van de werkwijze.

Dit waren mijn belangrijkste inzichten tijdens Measurecamp Amsterdam 2018. Uiteraard ben ik erg benieuwd wat jij allemaal hebt geleerd? Daarom wil ik je uitnodigingen om je learnings of opmerkingen op bovenstaande te delen in de comments.

Buiten alle sessies, was de dag goed georganiseerd, onwijs veel leuke gesprekken gehad en een top borrel om af te sluiten. Zorg ervoor dat je volgend jaar bij Measurecamp 2019 bent!