Vorige week donderdag 20 september streden 10 finalisten in drie categorieën voor de DDMA Dutch CRO Awards 2018. De weken voorafgaand aan de award night heeft de jury de 12 beste cases genomineerd uit in het totaal 57 inzendingen.
Wat waren de beste cases?
Tijdens de uitreiking hadden alle finalisten de mogelijkheid nog een laatste keer hun case te presenteren in de vorm van een 5 minuten durende pitch. Naast de jury awards was hierdoor ook de mogelijkheid gecreëerd voor een publieksprijs.
De winnaars volgens de jury: 
- Lucardi in de categorie Conversion Test
- T-Mobile in de categorie Personalisation
- Eneco in de categorie Mobile
De winnaars van de publieksprijs:
- Transavia in de categorie Conversion Tests
- Transavia in de categorie Personalisation
- Eneco in de categorie Mobile
Lucardi winnaar Conversion Tests
De case van Lucardi en ISM eCompany ging over de behoefte van de klant om het product (na de online bestelling) in de winkel op te halen. Deze mogelijkheid was niet altijd bekend en daarnaast moest de bezoeker bij iedere bestelling informatie invoeren die alleen relevant was wanneer hij of zij koos om het product te laten opsturen. Om de ervaring van de bezoeker beter te maken, is een aantal aanpassingen doorgevoerd binnen de buying flow:
- de inlog stap is verwijderd
- de keuze voor bezorging of afhalen is nu de eerste stap
- bezoekers die kiezen voor afhalen kunnen in de winkel betalen
De nieuwe flow is in eerste instantie geoptimaliseerd aan de hand van user-testing en is vervolgens in een experiment getest tegen de oude buying flow.
In de case is duidelijk terug te zien dat Lucardi de constante input van hun klanten inzet voor het verbeteren van de gebruikerservaring en bij het evalueren van de testresultaten heeft Lucardi in de ogen van de jury goed gekeken naar het totaalplaatje.
T-Mobile winnaar Personalisation
De winnende case van T-mobile ging over de personalisatie van de content op hun site. Veel bezoekers kregen informatie te zien die voor hen helemaal niet relevant was en zelfs voor verwarring zorgde. Door informatie aan te bieden die overeenkomt met de service vraag van de bezoeker (op basis van call center data) was er sprake van 51% contact reductie.
T-mobile presenteerde een zeer overtuigende case dankzij de goede inzet van meerdere kanalen, in combinatie met eenvoudige en effectieve personalisatie tests. Ook complimenteerde de jury T-Mobile met het feit dat zij het hele project met een klein cross functional team heeft gerealiseerd.
Eneco winnaar Mobile
De case van Eneco richtte zich op de energieberekening die de bezoeker moet maken voordat hij of zij door kan gaan naar de volgende stap. Omdat de motivatie bij deze stap erg laag bleek, werd een experiment opgezet waarbij er in de copy meer gefocust werd op gemak en snelheid.
Het resultaat was een stijging van 7% in het aantal ingevulde formulieren, maar een daling in het aantal orders. Dit stimuleerde Eneco om ook cross device te kijken naar het effect van de aanpassing. Uit eerder data-onderzoek werd al duidelijk dat bezoekers meer oriënterend gedrag vertonen op mobiel maar converteren op andere devices. En precies dat bleek ook het geval voor deze test. Op desktop/tablet zorgde de aanpassing voor een uplift van 32% voor het aantal orders.
De case van Eneco en Blue Mango Interactive onderscheidde zich volgens de jury door de toepassing van cross device tracking, wat essentieel is aangezien het gaat om het begrijpen van een persoon, niet alleen een device of cookie.
Nóg meer CRO inspiratie
Naast de presentatie van de cases stonden ook Jorden Lentze (Booking.com) en Christiaan van der Waal (FedEx) op het podium. Beiden deelden hun ervaringen met het implementeren en optimaliseren van een succesvolle experimentatie cultuur binnen een grote organisatie.
Jorden Lentze: experimenteren bij Booking.com
Booking.com is in 2000 gestart met 8 mensen. Nu (2018) werken er maar liefst 17000 mensen, heeft de organisatie jaarlijks 1,5 miljoen conversies en zijn ze 1 van de 6 bedrijven op de wereld die minimaal 10.000 experimenten per jaar doen. Jorden deelde 4 redenen voor de succesvolle experimentatie cultuur van Booking.com.
1. Falen = leren
Als je 10 experimenten uitvoert, dan vind je gemiddeld maar 1 winnaar. Dit betekent dat je veel meer kans hebt op een neutraal of zelfs negatief effect, dan op een positief effect. Zorg daarom altijd dat je volledig gebruik maakt van je testpotentie en zo veel mogelijk experimenteert.
2. Test atomically
Deel je hypotheses op in meerdere A/B-testen en test altijd met alleen een A (het origineel) en een B (de aanpassing) variant. Alleen zo kun je erachter komen wat de mogelijke oorzaak is van de verandering in het gedrag van je bezoeker en leer je telkens weer meer.
3. Teams om te experimenteren
De teams van Booking.com zijn gemaakt om te experimenteren. Iedere persoon binnen een team vervult een rol die belangrijk is binnen het experimentatie proces. Daarnaast heeft iedereen in het team toegang tot de data en heeft ook iedereen een opleiding gevolgd om met de data te kunnen werken.
4. Ga voor 100%
Experimenteer altijd op de volledige 100% van je bezoekers. Je hebt liever zo kort mogelijk vervelende effecten (denk aan site plat) voor al je bezoekers, dan langer negatieve effecten voor een klein deel van de bezoekers.
Christiaan van der Waal: organisatie voor experimentatie en groei
CRO als specialisatie sterft volgens Christaan van der Waal binnen 5 jaar uit. De krappe arbeidsmarkt wordt steeds breder en het succes van conversie optimalisatie zit hem niet in de specialisatie maar juist in het breed uitdragen van de werkwijze en de cultuur.
De bedrijven die succesvol zijn op het gebied van CRO (denk bijvoorbeeld aan Uber) zijn in de meeste gevallen opgebouwd met de experimentatie en validatie cultuur als basis. Voor bestaande organisaties blijkt deze stap vaak een stuk moeilijker. Tijdens zijn presentatie vertelde Christiaan over zijn ervaring om een experiment-gedreven cultuur te implementeren bij FedEx.
Blijf weg bij silo’s
Het transformeren van de cultuur en structuur van FedEx ging niet gemakkelijk en er zijn vele fouten gemaakt. Een van de grootste fouten was volgens Christiaan het opzetten van een apart CRO team en een apart User Testing team. Als er iets is dat je wilt voorkomen is het het creëren van (nog meer) silo’s. Experimenteren is iets dat moet plaatsvinden op ieder niveau en op iedere afdeling van de organisatie en een apart CRO team zal de werkzaamheden juist meer centraliseren.
Voelen, denken en doen
Op basis van zijn ervaring met het opzetten van een experimentatie cultuur en structuur binnen FedEx heeft Christiaan een model ontwikkeld. In dit model geeft hij aan wat er nodig is om de juiste cultuur te creëren en hoe je de organisatie op de juiste manier kunt structureren om uiteindelijk groei te bewerkstelligen.
De belangrijkste les die duidelijk wordt aan de hand van dit model is dat het experimenteren zelf (meten en iteratie) maar een kleine en laatste stap is die je wilt maken als organisatie. Voordat je daadwerkelijk kunt groeien aan de hand van je experimenten moet eerst duidelijk zijn waarom je wilt groeien en hoe je deze groei richting wilt geven.
Benieuwd naar alle presentaties en cases? Deze kun je bekijken op de terugblik pagina van de Dutch CRO Awards 2018.
