Vorige week dinsdag was het alweer tijd voor de 7e editie van de Digital Data Tips Tuesday. Een middag vol talks van Ton Wesseling, Hubert Wassner en Manuel da Costa over de nieuwste ontwikkelingen in de CRO markt.
Ton Wesseling | De status van de Nederlandse CRO markt
De 7e DDTT werd ingeleid door Ton Wesseling die de resultaten deelde van de Webanalisten survey naar de status van de Nederlandse CRO markt. De survey beantwoordt vragen als: wie werkt er in CRO? Hoe ziet het gemiddelde CRO team eruit? Hoeveel testen worden er gemiddeld gedraaid? En welke tools worden er gebruikt?
Wie zijn de respondenten?
De respondenten van de survey lijken een goede afspiegeling van de optimalisatie markt met een mooie verdeling over grote (35%) en kleine bedrijven (30%), klantzijde inclusief freelancers (69%), bureauzijde inclusief freelancers (25%), specialisten (71%) en managers (29%). De 142 respondenten hebben een gemiddelde leeftijd van 34,5 jaar. Daarnaast laten de resultaten zien hoe jong het CRO vakgebied nog is. Aan klantzijde hebben de respondenten net iets meer dan 3 jaar ervaring met CRO, de bureaukant heeft 1 jaar meer ervaring. Dit terwijl de gemiddelde werkervaring van de respondenten ligt op 11 jaar.
CRO onderzoek
Gemiddeld levert 42% van alle experimenten “winnaars” op. Maar ondanks dat de testen in veel gevallen succesvol zijn, worden de resultaten nog te weinig doorgevoerd. Gemiddeld wordt 52% van de learnings binnen 2 maanden geïmplementeerd. Bij 32% van de bedrijven wordt slechts 25% of minder van alle learnings binnen 2 maanden geïmplementeerd! Als input voor de hypotheses van AB testen gebruikt 81% van de respondenten regelmatig of altijd webanalytics data. Wat betekent dat 19% hier dus niet altijd of zelfs nooit gebruik van maakt!
Tools
De resultaten van de survey laten zien welke tools populair zijn, welke tools groeien in populariteit en hoe tevreden mensen zijn met de tools die ze gebruiken. Een van de dingen die opvallend waren, zijn de lage scores die mensen geven voor tool happiness: de hoogste score was 3.7 van de 5.
Ten tweede is het opvallend dat voornamelijk de standaard workflow tools als Jira en Trello populair zijn. Alle specialistische CRO workflow tools stoeien met 80% of meer onbekendheid aan klant- en bureauzijde, alleen Effective Experiments is hierop een uitzondering qua bekendheid en vooral gebruik. Als we kijken naar de gebruikte A/B testing platformen zien we dat VWO en Optimizely samen 59% van de markt bezitten. Er zijn twee, nog onbekende nieuwkomers met veel groeipotentie: Convert en AB Tasty.
Waarom gebruiken we geen goede CRO workflow tool? En waar zit de groeipotentie bij de nieuwe AB testing tools? De resultaten van de webanalisten survey hebben ertoe geleid dat er bij deze zevende editie van de DDTT twee tools centraal staan: de workflow tool Effective Experiments en de AB testing oplossing AB Tasty.
Hubert Wassner | De Data Science achter AB testen, optimalisatie en personalisatie
Bij AB testing kun je kiezen voor frequentistische statistiek of Bayesiaansestatistiek. Tegenwoordig wordt de Bayesiaanse statistiek echter steeds populairder doordat computers steeds krachtiger worden en daardoor makkelijk ingezet kunnen worden bij het analyseren van grote datasets en zelfs real-time beslissingssystemen. Hubert Wassner, Chief Data Scientist bij AB Tasty, noemde in zijn talk de voordelen van Bayesiaanse statistiek voor ons vakgebied:
- Het geeft coherente statistische informatie tijdens een test.
- Bayesiaanse statistiek geeft gedetailleerde informatie zoals een betrouwbaarheidsinterval op alle metingen waar frequentistische opties alleen een vertrouwensindex geven over het bestaan van een prestatieverschil tussen variaties.
AB tasty was één van de eerste tools die klanten voorzag van Bayesiaanse statistiek en ze zullen de eerste zijn die de Bayesiaanse statistiek aanpast op media data.
CRO voor de media
E-commerce websites geven de meeste waarde aan “unieke” conversies. Dit betekent dat als een bezoeker tweemaal een product koopt tijdens een test, er slechts één conversie zal meetellen voor deze bezoeker. Omdat de meeste bezoekers slechts eenmaal een product kopen tijdens een testperiode, is deze simplificatie prima. Dan is de formule vrij makkelijk om van Bayesiaanse statistiek te voorzien.
Bij media conversies werkt dit echter anders. Het is vrij gewoon dat een bezoeker meerdere artikelen bekijkt op een nieuwssite of meerdere video’s bekijkt op een videoplatform gedurende een enkele sessie. In dit geval wordt het moeilijker om een formule van een Bayesiaanse statistiek te voorzien, terwijl het hier juist belangrijker is. Een simpel voorbeeld legt het gemakkelijk uit: 1000 gemeten clicks tijdens een test heeft niet dezelfde variabiliteit als ze worden geproduceerd door 100 bezoekers (10 clicks per bezoeker), dan met 10 bezoekers (100 clicks per bezoeker). We hebben het betrouwbaarheidsinterval nodig om hierover te oordelen. Natuurlijk gaat de voorkeur naar de 1000 clicks door de 100 bezoekers omdat dit een test minder onzeker maakt.
Multi-Armed Bandit
Het is een complex statistisch probleem, dat ook wel bekend staat als het ‘Multi-Armed Bandit’ probleem. Dit los je op door in een testprocedure een bepaalde hoeveelheid aan verkeer/traffic te sturen naar de variaties die het beste presteren. De moeilijkheid zit hem in het voorkomen dat je te veel traffic stuurt naar een variatie die niet goed presteert. Maar je moet wel een minimum aantal bezoekers naar deze variatie sturen om goed te kunnen meten hoe laag de performance is. Dynamic Traffic Allocation (DTA) maakt het mogelijk om het aantal bezoekers dat je naar een bepaalde variatie stuurt gedurende het experiment aan te passen waardoor je een betere afweging kunt maken.
DTA heeft een aantal voordelen. Ten eerste beperkt Dynamic Traffic Allocation de zogenaamde ‘regrets’: zoals de verloren conversie bij de evaluatie van slecht presterende variaties en dit vermindert weer de Total Cost of Ownership (TCO). Ten tweede wordt er vanaf het begin geoptimaliseerd, terwijl een A/B test dat niet doet voordat het einde van de testperiode is bereikt. Om deze reden is DTA ook de enige optie als je elementen wilt optimaliseren die een “kort leven” hebben zoals het geval is in de media. Bijvoorbeeld een nieuwsartikel waar je de titel of de afbeelding test. Deze hebben zo’n korte levensduur dat je ze niet kunt optimaliseren met een klassieke A/B test.
Manuel da Costa | Structureer je test programma en maak je inzichten vindbaar
Waarom ontsporen testprogramma’s? Als founder van Effective Experiments, een workflow tool voor CRO, komt hij veel bedrijven tegen die vastlopen met hun CRO programma. Tijdens zijn talk deelt Manuel da Costa wat wel en wat niet werkt in CRO. Hoe zet je een goed CRO programma op en wat zijn de valkuilen?
Oorzaken voor het falen van CRO programma’s
Tijdens zijn talk noemde Manuel een aantal oorzaken voor het falen van CRO programma’s.
Er is een tekort aan kennis
Hoe mensen CRO doen verschilt vaak veel van elkaar. We kunnen dit kennisgat proberen op te vullen door kennis te delen. Ga bijvoorbeeld naar events en wissel kennis uit met andere CRO experts.
Geen gestructureerd proces
Ook het process is een punt waar veel mensen op vastlopen. Een groot aantal mensen maakt bijvoorbeeld nog geen gebruik van hypotheses. Een framework kan hiervoor een oplossing zijn. Veel bekende CRO bureaus hebben hun eigen framework openbaar gemaakt. Kies het framework dat bij jou past en volg de structuur in je CRO programma.
Te weinig resources
57% van alle bedrijven heeft moeite met het vinden van resources, met name het vinden van developers is vaak lastig. De tip van Manuel is om externe partijen (zoals Testing.Agency) in te schakelen.
Mensen zijn obsessed met tools
Maar tools zullen je niet helpen bij het opzetten van een schaalbaar CRO programma. Je hebt drie dingen nodig voor een succesvol programma: mensen, een goed proces en een goed prioriseringsmodel.
The hippo is stopping the heroes
Een ander veel voorkomend probleem waar mensen tegenaan lopen is buy-in. Bedrijven hebben vaak last van een ‘wij tegen de rest’ mentaliteit en werken vanuit silo’s. We moeten niet vergeten dat optimalisatie een teamsport is. Betrek iedereen in het bedrijf bij het proces en deel alles. Alle nieuwe inzichten die je opdoet, alle veranderingen in het programma, enzovoort. Zorg ervoor dat mensen enthousiast worden over optimalisatie.
Bekijk de slides van de 7e editie door te klikken op de onderstaande links:
