Op dinsdag 21 januari was alweer de elfde editie van Digital Data Tips Tuesday (DDTT). In een zaal met meer dan honderd data analisten, conversie specialisten, designers, freelancers en consultants, stond ‘get value from your data’ centraal. 

Vanaf deze editie wordt de DDTT gehost door Ruben de Boer in plaats van Ton Wesseling. Er is niet veel veranderd: Ruben heeft krullen, is Ajax fan en draagt voor de gelegenheid een evenement shirt, net als Ton. In deze editie werd gesproken over hoe je waarde uit je data kan halen, zowel kwalitatief als kwantitatief.  

Bas Brilman: ‘How to zoom out on journeys with user feedback’

Bas Brilman is werkzaam bij RTL – Videoland als UX lead. Hij sprak over hoe hij bij Videoland van een heel ingewikkelde, niet aan te passen customer journey tot een veel bruikbaarder model kwam. De helft van het publiek werkt al met customer journeys, maar niemand is er echt blij mee. Bas legt uit hoe je een journey eenvoudiger en gebruiksvriendelijker maakt.

1. Richt je op gebruikersdoelen

Door je te richten op gebruikersdoelen, kan je sub-journeys maken voor iedere fase. Bas gebruikt bij Videoland een grote journey met daaronder per stap een A4tje met de sub-journey erop. Zo zijn de kleinere journeys heel eenvoudig aan te passen. 

2. Deel klantfeedback waar het relevant is

Voeg een laag feedback aan de stappen van de journey toe, dat is de user feedback per fase. Door via Usabilla emotie-feedback te vragen, kunnen mensen een eenvoudig antwoord geven en daarna uitleggen waarom ze zich zo voelen. Dit levert hele waardevolle feedback op. Zo ontdekten ze bij Videoland bijvoorbeeld dat klanten last hadden van ‘choice overload’, waardoor ze hun homepage hebben vereenvoudigd.

3. Maak de journey toegankelijk en sta open voor feedback

Zorg dat je een makkelijk aan te passen format hebt, met daarop een high level doel. Het voordeel van een journey in Google slides is dat het heel makkelijk aan te passen is. Maandelijks presenteren ze bij Videoland alle feedback per fase, waarbij ze soms dieper ingaan op een specifiek doel. 

Natuurlijk is kwalitatieve feedback niet het enige waarmee je waarde toevoegt, het wordt altijd gecombineerd met kwantitatieve data. De journey uitwerken en sentiment meten helpt je nieuwe signalen te spotten. Daarna is het belangrijk om te checken hoeveel users hier last van hebben en hoe dit de belangrijkste KPI’s beïnvloed. 

Hans Willemse: ‘How impact scores of visitors can improve your customer journey’

Hans Willemse is product owner van de persoonlijke verzekeringstak bij Nationale Nederlanden. Hij vertelt dat weinig A/B testen succesvol waren, tot ze begonnen met content analyseren. Door te weten welke content waardevol is voor klanten, kun je hypothesen pre-valideren en daarmee je winratio flink omhoog halen. 

Zo kun je binnen je groep converterende klanten kijken, hoeveel procent met welke content interacteerde. Door clicks op de content te meten, krijg je al een goede indicatie van welke content veel waarde heeft. Hierdoor werden bij Nationale Nederlanden hypothesen voor A/B testen veel sterker, het werd duidelijk welke informatie bezoekers wel of niet nodig hebben tijdens hun journey. Op deze manier kan het niet alleen voor salesdoelen, maar bijvoorbeeld ook voor customer service of retentie gebruikt worden.

Gebaseerd op hoeveel impact content heeft en hoeveel klanten deze content zien, kan je beslissen wat je met de content wilt doen.

Een aantal voorbeelden bij Nationale Nederlanden: ze ontdekten dat een van de grootste en meest belangrijke stukken content niet boven de fold stond. Dit stuk verplaatsen leverde 19% conversiestijging op, omdat de klanten lieten zien wat ze nodig hadden op dat moment. Toen ze naar concurrenten keken en de manier waarop zij hun content toonden en dit als basis voor testen gebruikten, werkte dat niet. Zelf impactscores meten voor hun eigen klanten werkte veel beter. 

Ton Wesseling: ‘How an analyst can add more value to experimentation’

Tot slot stond Ton Wesseling op het podium. Bij eerdere edities van de DDTT was hij host en nu stond hij als spreker op het podium. Hij is oprichter van Online Dialogue, Webanalisten en van verschillende evenementen zoals de DDTT.

Hij vertelt over hoe ‘A/B testing Culture and Data, Effectiveness and Finance’ (ABCDEF) van belang zijn bij A/B testen en focust zich voor deze DDTT op ‘Data, Effectiveness and Finance’, omdat dit het werkgebied van analisten is. Via deze wegen kunnen zij waarde toevoegen aan een A/B test programma. 

Data

1. Zorg voor hoge kwaliteit data, meet al je funnels!
2. Zorg dat je testtool al je users bevat. Als je 20% minder mensen in testen hebt, kun je minder testen per jaar draaien en dus minder leren.
3. Zorg dat je terugkerende gebruikers herkent. Als bezoekers cookies verwijderen of op een ander device terugkeren hebben ze 50% kans in de verkeerde variatie te eindigen. Dit kan je winnaars percentage flink beïnvloeden.
4. Zorg dat je kan segmenteren op pagina interacties, bijvoorbeeld alleen bezoekers die een bepaald filter gebruiken. Zo kun je voor die specifieke groep optimaliseren, mits je voldoende traffic hebt natuurlijk.
5. Zorg dat je kan segmenteren op wie beïnvloed kan worden. Als converterende bezoekers bepaalde pagina’s of elementen niet zien, heeft het geen zin om daar te optimaliseren. Je kan bezoekers segmenteren in verschillende groepen van een eerste interactie tot ‘heeft al een aankoop gedaan’ en ‘komt terug voor meer’. Zo optimaliseer je voor iedere groep.

Effectiviteit

Zorg dat je werkt aan zaken met de hoogste potentiële uitkomst. Houd rekening met je power: de kans dat een experiment een effect zal vinden als er ook echt een effect is. Gebruik minimaal 80% power en 90% significantie. En maak een bandbreedte calculatie op basis van power en het gemiddelde effect dat je vindt (of als je nog niet hebt getest, denkt te kunnen vinden). Zo wordt duidelijk op welke pagina’s je de meeste impact kan maken. 

Financien

Uiteindelijk draait het allemaal om business case calculaties. Bijvoorbeeld extra nieuwe klanten per week * 52 weken * customer lifetime value, en dan komt er een getal uit. Dat getal klopt niet. Soms is het effect dat je vindt groter of kleiner dan in het echt (M-type error). Hoe groter je power is, hoe lager de impact van M-type error. Als je je business case doorrekent op basis van het gemiddelde van de winnende variant, kan je bedrogen uitkomen. Gebruik dus voor je business case niet het gemiddelde van je winnende verdeling, maar de lower bound. 

Daarnaast is het ook belangrijk om rekening te houden met false discovery rate. Deze kan je berekenen om hier rekening mee te houden in je business case calculatie. Voorbeeld: als je bij 90% significantie 100 experimenten doet en 20 significante uitkomsten vindt, is je false discovery rate 50%. 

Een voorstel voor een nieuwe business case calculatie: de som van alle winnaars * (100% – type-M error %) * (100% – false discovery %). En niet vergeten om rekening te houden met het implementatie percentage binnen X maanden. Alleen geïmplementeerde winnaars leveren iets op! Zet de waarde van je testprogramma af tegen wat het kost. Lever je relatief veel op? Stop er meer budget in. Lever je relatief weinig op? Zorg dat je meer leert zodat je meer winnaars krijgt. Lever je daarna nog steeds relatief weinig op? Ga andere dingen doen en neem meer risico als je niet genoeg data hebt. 

DDTT zelf bijwonen?

De volgende DDTT is op 29 september 2020. Wil je deze bijwonen? Meld je aan voor onze nieuwsbrief en je blijft op de hoogte van al onze events!

Op 26 maart organiseren wij MeasureBowling Utrecht. Een gezellige bijeenkomst waar we bowlen en bijpraten met vakgenoten.