Samen met Alouette Edens, online marketeer bij Internet Advantage, heb ik de congresdag van het Webanalytics Congres 2014 mogen bijwonen. Volop interessante sprekers, sessies, lekkere hapjes, drankjes en goede gesprekken. Wij hebben deze inspirerende dag eens goed voor je samengevat.

Vandaag deel 1 en morgen deel 2.

Data Science: For Fun & For Profit – Lukas Vermeer

Lukas Vermeer van Booking.com liet onze hersenen weer even kraken. Iedereen kan stappen volgen, maar dat maakt het nog geen science. Ook mag je data science niet als big data zien want je hoeft niet altijd met big data te gaan testen. Mensen zien altijd overal patronen in maar is dit wel juist?

Aan de hand van een real-time A/A-test -ja er liep daadwerkelijk een test terwijl hij presenteerde- nam hij ons mee langs een aantal leuke inzichten. Een A/A-test is een test waarbij je twee precies dezelfde varianten tegenover elkaar laat draaien.
– 10% eindigt in significantie bij een A/A-test.
– Bij elk experiment is tussen de 60% en de 80% ergens een keer significantie geweest (ook al test je 2 precies dezelfde varianten).
– Niet alle patronen zitten dus in de data.

Het stoppen van een A/B-test wanneer je ziet dat de gegevens significant zijn is heel menselijk, het gebeurt nog vaak. Het testresultaat is nu afhankelijk van de manier hoe je het bekijkt. “Pas op dat patronen die je ziet niet het gevolg zijn dan van de manier waarop je analyseert.”

Nu weet je dat je een test niet moet stoppen bij eerste signalen van significantie want het kan nog alle kanten op gaan. Ook in de real-time A/A-test zagen we de resultaten van de ene variant naar de andere springen. Het gevaar ligt ‘m vooral in het feit dat ons brein dus patronen gaat zien. Als je de hele tijd naar de test aan het kijken bent en je ziet de resultaten bij variant A een tijd lang positiever dan bij variant B ga je al heel snel conclusies trekken. “Je moet niet kijken naar de resultaten onderweg!”

Er zijn zelfs software aanbieders die jou een seintje geven als de test significantie aantoont. Belachelijk eigenlijk!

De 4 P’s van data science:

• Pvalue → Leuke video over wat Pvalue nu precies betekent: Filmpje
• Prediction → Het maken van voorspellingen (hypotheses) maar kijk uit voor Simpson’s Paradox (een onverwacht resultaat dat verschijnt wanneer data bij elkaar komt)
• Presentation → Als je niks kan uitleggen heeft het geen zin
• Profit → Verdien je er wel wat mee?

Het Maturity Proces van Web Analytics bij Albelli – Anton Buning

Anton vertelt over de sterke groei die Albelli door heeft gemaakt in de afgelopen 2 jaar. Na een uitleg over de customer journey van de bezoekers is het duidelijk dat Albelli veel effort heeft gestoken in de collectie van data. Om eerst de ‘foundations’ goed te kunnen meten is Adobe opnieuw geïmplementeerd, tot nu toe blijft het lastig om ook het offline gedeelte (design van de boeken) volledig te kunnen meten en dit te koppelen aan de online data.

De groei van Albelli als data-driven organisatie gaat aan de hand van het Maturity Model van Stephane Hamel. Met dit zelfreflectie model wordt tot nu toe elk jaar een groei gerealiseerd en de stappen voor het komende jaar bepaald.

De key take aways:

• Zorg dat je foundation goed is;
• Zorg voor goede en betrouwbare data;
• Bepaal een einddoel;
• Ga altijd stap voor stap;
• Verhoog de interne kennis en de awareness. Deel alle bevindingen met collega’s.

Bekijk zijn presentatie.

Experimenteren als een Lean Startup – Allard de Boer

Met 1.300.000 unieke bezoekers per dag valt er genoeg te experimenteren voor Marktplaats. Met de overname van Ebay in 2004 werd er meer mogelijk op het gebied van data opslag, data verwerking en het analyseren hiervan. Allard vertelt over de vele kwantitatieve en kwalitatieve data waarbij de focus van de presentatie ligt bij het NPS. De NPS moet Marktplaats inzicht geven in de kans dat bezoekers Marktplaats aanbevelen aan hun kennissen en vrienden. Erg waardevolle informatie, door de beperkingen die de NPS per e-mail met zich meebracht zijn zij een NPS on-site gestart. Met deze NPS is de respons rate veel groter, daarnaast zijnde resultaten direct inzichtelijk en wordt hier direct actie op ondernomen.

De bezoeker heeft in de NPS de keuze uit 5 smileys welke de tevredenheid van de bezoeker vertegenwoordigt . Het design van deze NPS is zorgvuldig getest, zo ook heeft de output van de NPS gezorgd voor veel testen om de ‘net promotor score’ te verhogen.

De volgende stappen van Martkplaats zijn onder andere een diepere integratie van de NPS on-site, integratie van verschillende datasources en nieuwe experimenten opzetten. Daarnaast geeft hij het publiek mee dat een hoge frequentie van iteratie zorgt voor betere resultaten in een korte tijd en dat het niet erg is om een keer of heel vaak te falen. “Fail fast and often”.

Zie hier zijn presentatie.

Parallelsessie ronde 1: Web Analytics is meer dat een black-box vol data – Gerry van de Weijer

Naar aanleiding van haar blog begin dit jaar is zij nu spreker op het Web Analytics congres. Binnen veel bedrijven is Web Analytics een technisch, losstaand en specialistisch vakgebied. Vaak besteden data analisten veel tijd aan data-collectie, in plaats van de daadwerkelijke analyses en het ondernemen van acties hierop om de businessvragen te beantwoorden. De webanalist wordt nog niet gezien als onderdeel van de keten en wordt vaak pas laat bij projecten aangesloten. In de wereld van Gerry zal een webanalist 15% van zijn of haar tijd besteden aan data capture, 20% aan reporting en 65% aan analyses. Ik denk dat alle webanalisten in de zaal het daar toch wel mee eens zijn!

Verder vertelt Gerry in een duidelijke en energieke presentatie over haar 3D model: data, doelstellingen en dudes (dudettes). Kort samengevat: de data moet kwalitatief en betrouwbaar zijn, zorg voor custom reports (standaard rapporten hebben vaak teveel vervuiling), rapporteer op KPI, geef de relatie weer met je doelen en visualiseer deze duidelijk!

Een webanalist heeft meer nodig dan alleen analytisch vermogen. Inzichten in business strategieën, communicatieve vaardigheden, marketing kennis en overtuigingskracht zijn net zo belangrijk.

Met als afsluiter een terechte vraag: ‘zijn wij wel al klaar voor big-data als de basis vaak nog niet eens goed staat?’. Een terecht opmerking vanuit het publiek “Dit had mijn baas moeten horen!”

De presentatie van Gerry kun je hier bekijken

Lees ook het verslag van de rest van de presentaties op webanalisten.nl.