Terugblik op Measurecamp Londen

19 september 2016 door  in Meetups & Events

Zaterdag 10 september 2016 was het tijd voor MeasureCamp London. MeasureCamp is een gratis congres op het gebied van web-analytics, dat in verschillende grote Europese steden wordt gegeven. Het congres wordt gehouden als unconference. Dit betekent dat de deelnemers van het congres zelf de inhoud bepalen. Er waren meer dan 64 sessies voor beginners en experts in de wereld van analytics wereld.

Voor degene die er niet bij konden zijn, hebben we de beste 5 sessies uitgelicht.

Omdat het een erg gewild congres is, dat vaak al maanden van te voren binnen enkele minuten uitverkocht is, is het altijd hopen dat je een kaartje weet te bemachtigen. Gelukkig waren Ton Wesseling, Jorrin Geurts, Tom van den Berg en Roy Schieving (allen werkzaam bij Online Dialogue) de gelukkigen die er bij konden zijn.

Voor degene die er niet bij konden zijn, hebben we de beste sessies uitgelicht.

Sessie overzicht

JavaScript for Analysts
by Simo Ahava

Simo Ahava, blogger en developer, gaf in zijn presentatie 10 javascript concepten voor Google Tag manager. Tijdens zijn verhaal werd het vooral duidelijk dat de functies die hij gebruikt allemaal uit JavaScript bestaan. Ook legde hij uit dat data opgeslagen kan worden in Cookies en Local Storage en wat hiervan de verschillen zijn.

Mocht je nog niet bekend zijn met JavaScript of meer willen leren? Dan zijn dit boeken die Simo aanbeveelt: DOM Enlightenment, JavaScript for Web Developers en Practical Google Analytics and Google Tag Manager for developers. Daarnaast is de website codecademy.com een goede start om JavaScript te begrijpen.

simo

Alle JavaScript hints en tips zijn hier te bekijken: http://www.slideshare.net/SimoAhava/measurecamp-ix-london-10-javascript-concepts-for-web-analysts

Digital Product Design is ?
By Craig Sullivan

Craig Sullivan vertelde in zijn presentatie hoe het kan dat bedrijven anno 2016 nog steeds fouten maken in het ontwerpen van websites. De oorzaak hiervoor is volgens Craig dat bedrijven nog steeds niet leren van de gebruiker en dat ze vaak nog niet door hebben dat de gewone mens hun klant is. Een video met ‘Failures’ brak het ijs in de presentatie. De video is zeker de moeite waard om te kijken.

Het filmpje bevat een collectie aan grappige afbeeldingen waardoor goed naar voren kwam wat Craig bedoelt met een slecht ontwerp. Een van de punten die hij aankaart is om eerst alle bugs op te lossen. Bedrijven laten door deze bugs veel geld liggen terwijl ze vaak snel te verhelpen zijn.

Met een lijst van 6 punten wordt duidelijk hoe je meer kan leren van de klant (echte mensen) en hoe dit ingezet kan worden.

  1. Investeer meer in de analytics (tools, training etc)
  2. Het opbouwen van multidisciplinaire teams die in een agile model werken
  3. Verwijderen van verspilling en gebreken (oplossen van bugs)
  4. Maak A/B- en MVT-testen een onderdeel van de release cyclus
  5. Stop met het lezen en implementeren van Best Practices, deze werken vaak niet.
  6. Het meten van kwantitatieve en kwalitatieve gedrag en het gebruik van deze inzichten.

De gehele presentatie is hier te bekijken: http://www.slideshare.net/sullivac/product-design-is-poo-and-were-all-going-to-die

How to tell a story using data
By Sylvia Rogo

Sylvia gaf geen presentatie maar deed een korte introductie over het onderwerp Storytelling with data. Als webanalist heb je toegang tot heel veel verschillende cijfers. Deze kan je allemaal communiceren naar je stakeholders, maar de kans is groot dat niemand er naar omkijkt en je doel dus niet bereikt wordt. Sylvia wilde graag een discussie hebben over hoe je dit het beste kan aanpakken. Zelf probeert ze er een “verhaal” van te maken waardoor het beter aankomt bij de stakeholders.

Dit zijn de beste tips die tijdens de sessie naar voren kwamen:

  1. Voordat je begint met de analyse en delen van inzichten is het belangrijk om helder te hebben voor wie je de analyse doet. Is dit voor de hoogste manager of een aantal collega’s? Beide groepen zijn waarschijnlijk in iets anders geïnteresseerd.
  2. Start met de conclusie en vertel vervolgens hoe je daarop gekomen bent. Door eerst je bevinding te delen (bijvoorbeeld: de conversie is met 20% gedaald) heb je gelijk de aandacht.
  3. Laat cijfers zien die aansluiten bij de KPI’s van het bedrijf. Dit zorgt ervoor dat je publiek sneller geboeid is en interesse heeft.
  4. Een grafiek met meerdere lijnen of een tabel met meerdere cijfers zegt weinig. Door de belangrijkste bevindingen uit te lichten (met een pijl, kleur of dikgedrukt) wordt gelijk duidelijk waar het om gaat.


Find Signal in Noise
By Michal Brys

Michal Brys werkt als Data Scientist bij Grupa Allegro in Polen. Hij is een echte “data nerd”. Tijdens zijn presentatie deelde hij de 6 stappen die je moet doorlopen om op de juiste manier een data analyse te doen:

  1. Business understanding: voordat je gaat beginnen met je analyse is het belangrijk dat je doel van de analyse helder is en wat je ermee wilt bereiken. Houd hierbij rekening met de business en stel vragen indien nodig! Een voorbeeld: “Ik wil de klanten selecteren die de hoogste kans hebben op een respons waar we onze marketing campagne op gaan targeten.
  1. Data understanding: vervolgens ga je de data verzamelen. En je checkt wat de verschillende variabelen in je dataset betekenen en welke je eventueel nog mist. In zijn voorbeeld koos hij ervoor om client ID als custom dimensie uit Google Analytics te halen met een aantal variabelen.
  2. Data preparation: voordat je de analyse kan starten moet de data hier geschikt voor zijn. Moet er data omgezet worden? Outliers en missende values moet verwijdert worden.
  3. Modeling: voordat de data in een model wordt gestopt is het handig om eerst een subset te nemen en te kijken wat de uitkomst is. Als de values en de variabelen goed blijken te zijn kan de hele dataset gemodelleerd worden.
  4. Data evaluation: door verschillende modellen te gebruiken is het mogelijk om de uitkomst en de error rate te vergelijken.
  5. Deployment: de eerste keer wordt de analyse handmatig gedaan, als blijkt dat dit een continue rapportage moet worden dan is het advies om dit te automatiseren.

Het verhaal dat Michal vertelde was redelijk technisch, maar de conclusie is dat je de kwaliteit van de ruwe data moet optimaliseren. Michal doet veel van zijn analyses in R en daarvoor heeft hij een online guide gemaakt: “How to use Google Analytics with R. Deze is hier te vinden: https://www.gitbook.com/book/michalbrys/r-google-analytics/details


Automated Optimization with Smart Notifications
By Jorrin Geurts

Jorrin Geurts (data driven UX expert bij Online Dialogue) heeft in zijn sessie de nieuwe tool Smart Notifications gepubliceerd. Op dit moment is het mogelijk om je in te schrijven voor early access: http://www.smartnotifications.com/. De tool is op dit moment in de laatste fase van ontwikkeling.

Door middel van een bandit algoritme worden Smart Notifications ingezet met als doel om de conversie te verhogen.

Deze notificaties zijn vooral bekend van booking.com die ze op verschillende plekken van hun website inzet. Bij Online Dialogue zijn er de afgelopen maanden verschillende testen gedaan voor verschillende klanten.

In eerste instantie hebben ze in een A/B test getest of het tonen van een notificatie een positieve of negatieve impact had op de conversie. Het bleek geen negatieve impact op de conversie te hebben. Vervolgens zijn ze gestart met het testen van notificaties in een bandit algoritme. In vrijwel alle testen presteerde de variant met notificatie beter dan de default zonder notificatie. Ook is getest met verschillende posities op verschillende devices en zelfs met 2 notificaties.

c6a01742-4397-41fd-847e-bcd8d6f17129

Waarom wil je een bandit inzetten:

  1. Een standaard A/B test heeft een vaste looptijd en wordt dan uitgezet. Een bandit kan constant blijven lopen. Het voordeel hiervan is dat er vrijwel geen development tijd nodig is. De beter presterende variant krijgt namelijk vanzelf meer traffic en daardoor wordt de maximale extra omzet al gegenereerd. Een winnende variant in een A/B test moet na een test alsnog worden geïmplementeerd.
  2. Een A/B test houdt geen rekening met seasonality. Als een A/B test heeft gelopen in een sales periode of in de vakantie en er een bepaald effect gevonden is, betekent dit niet dat dit voor het hele jaar hetzelfde is. Aangezien een bandit meer traffic toewijst aan de beter presterende variant, kan het zo maar zijn dat in een sales periode variant A beter werkt en daarna variant B.
  3. Een A/B test is een methode om met een bepaalde zekerheid te kunnen zeggen dat A of B beter presteert of dat er geen verschil is. Om hier iets over te kunnen heb je een bepaalde hoeveelheid bezoekers en transacties nodig. Dat is ook de reden dat de trafficverdeling continue gelijk blijft. Binnen een bandit ga je al na een paar honderd transacties meer traffic toewijzen aan A of B. Je hebt dus veel minder zekerheid, maar bent vooral gefocust op extra omzet op dat moment. De learnings (die je pas hebt bij een bepaalde zekerheid) zijn minder belangrijk.

Alle slides van Jorrins presentatie zijn hier te vinden: http://www.slideshare.net/JorrinQuest/automated-optimization-with-smart-notifications-65911373

Volgende keer ook naar MeasureCamp?

Houd de site http://measurecamp.org in de gaten voor de aankomende MeasureCamps in Londen, Berlijn of Amsterdam!