Donderdag 21 april was Emerce Conversion. Eindelijk konden we weer live samenkomen en leren van interessante sprekers. Dit was de eerste keer dat Emerce Conversion niet in Pakhuis de Zwijger plaatsvond, maar in het mooie InnStyle in Maarssen. Met sprekers van o.a. VodafoneZiggo, Plus, ING en bol.com kregen we een goede indruk van wat er zoal speelt in het experimentation landschap. 

De dag begon met een opening door Ton Wesseling. Hij nam ons mee in de geschiedenis van Emerce Conversion en ons vakgebied. Waar we het in 2011 nog hadden over A/B test cases met hoge uplifts, gaat het dit jaar veel meer kwaliteit en strategie: goed onderzoek doen en het opzetten van een experimenteer cultuur. 

Zo creëer je een data- en validatiegedreven cultuur 

Mariska Buijs – ANWB

Mariska vertelde over de transitie van CRO binnen ANWB. Het begon met een klein team analisten en nu is het een gestandaardiseerd proces in bijna alle business lines. De belangrijkste boodschap: start eerst validatie gedreven en dan pas datagedreven. Om een organisatie mee te krijgen is het belangrijk om eerst te zorgen dat iedereen weet van CRO en dat aanpassingen gevalideerd worden middels experimenten. Dit gaat dan vaak om het testen van features die al gebouwd zijn of ideeën van stakeholders. Begin eerst met het valideren van deze ideeën en neem je stakeholders mee in het proces en de resultaten. Benadruk bij een verliezend experiment dan ook vooral wat de aanpassing aan omzet zou kosten als het geïmplementeerd zou zijn zonder experiment. Pak een zo groot mogelijk podium voor het presenteren van je resultaten.

Pas als dit structureel gebeurt, kun je dit proces ook daadwerkelijk datagedreven aanpakken en de validaties vanuit de data initiëren. Deze datagedreven aanpak zorgt ervoor dat de kwaliteit van de experimenten omhoog gaat en zo groeit je CRO programma in volwassenheid. De overstap van een validatie gedreven naar datagedreven CRO programma is niet van de een op de andere dag gemaakt. Betrek stakeholders bij hypothesesessies om ze kennis te laten maken met de datagedreven manier van werken. Wees kritischer op nieuwe ideeën: op welke data is dit idee gebaseerd? Geef inspiratiesessies over hoe je goed onderzoek doet op basis van het 6V model en last but not least: documenteer alles. 

Building up an experimentation mindset to elevate product outcomes

Luis Trindade – FARFETCH

Experimenteren is een erg belangrijk onderdeel van het succes van online fashion platform FARFETCH. Sterker nog, het is onderdeel van het DNA van de organisatie. Tijdens zijn presentatie deelde Luis learnings en inzichten over het creëren van een experimenteer mindset in de organisatie. Aan de hand van het Experimentation Growth Model liet hij zien hoe FARFETCH tot een Center of Excellence is gekomen waarbij beslissingen en strategieën worden gestuurd door data en validaties. 

Hij beschrijft 3 pilaren waar experimenteren op steunt, namelijk:

1. Kennis delen en documenteren: sla alle learnings op en documenteer het proces op een centrale plek.
2. Adoptie en engagement: begin klein. Je kunt de cultuur niet veranderen in 1 dag.
3. Het juiste platform: kies het juiste experimenteer platform voor je organisatie. Bij FARFETCH hebben ze zelf een oplossing gebouwd. 

Zodra deze drie pilaren aanwezig zijn, kun je gaan werken aan de experimenteer mindset van je organisatie. Luis gaf daarvoor wat tips:

• Zorg dat het management aan boord is;
• Zie experimenteren als een mindset, niet als een tool;
• Evalueer continu de maturity van het experimenteer programma;
• Experimenteren is nergens zonder een duidelijke strategie. Gebruik experimenteren als voeding voor de strategie. 

Experimenteren bij bol.com: van pionieren tot platform

Denise Visser – bol.com 

Tijdens deze sessie nam Denise ons mee in de reis van 100 experimenten in een jaar tot het winnen van een Experimentation Culture Award. 

Stap 1: Start met een gestructureerd proces.

Stap 2: Opschalen en kennis delen: “preach”. Betrek zoveel mogelijk mensen bij het proces.

Stap 3: Standaardiseren en documenteren: zorg dat het heel makkelijk wordt om een experiment te maken.

Bij stap 3 is de uitdaging dat dit ten koste kan gaan van de kwaliteit van experimenten. Als iedereen een experiment kan opzetten, worden bijv. verkeerde hypotheses gesteld. Probeer hierbij niet de rol politieagent op je te nemen. En het belangrijkste: hou vol. Change management duurt lang. Maak gebruik van de kracht van herhaling en bedenk dat weerstand er mag zijn. 

De kracht van langdurige serverside A/B-testen

Lucia van den Brink – Nu.nl

Lucia vertelde over de voor- en nadelen van langlopende server side testen. Server side testen wordt interessant als je een bepaalde mate van maturity hebt bereikt als organisatie (zie afbeelding).

Server side testen heeft voor- en nadelen. Een groot voordeel is dat er geen flickering effect aanwezig is en dat winnaars snel kunnen worden geïmplementeerd. Een van de nadelen is dat development capaciteit moet hebben om de tests te bouwen in de backend. 

Als je dan aan de slag gaat met server side testen heb je tevens de mogelijkheid om tests langer te laten lopen, omdat de pagina niet meer cookie afhankelijk is. Maar is het lang laten lopen van een test nu wel zo verstandig? Dat hangt heel erg af van het bezoekersgedrag op je website / in je app. En dat heeft alles te maken met gewoontes. Komen bezoekers vaak genoeg terug om een gewoonte op te bouwen? 

Bij nu.nl zijn bezoekers echte gewoontedieren. Dit komt doordat bezoekers erg regelmatig terugkeren. Een aanpassing kan op korte termijn een negatief effect hebben en op lange termijn een positief effect. Dat is de reden dat bij nu.nl regelmatig langlopende experimenten draaien om het echte effect op bezoekersgedrag te kunnen zien. Vergelijkbare sites/apps waar dit vaak voorkomt zijn weerapps en bankieren sites. 

Op naar Emerce Conversion 2023

Deze 2022-editie van Emerce Conversion was een geslaagde editie. Zet 20 april 2023 vast in je agenda voor de volgende editie!