automatiseer je experiment analyse

Automatiseer je experiment analyse in 9 simpele stappen

31 juli 2019 door  in Analysetips

In mijn vorige blogposts heb ik geschreven over het automatiseren van experiment analyses en over Sample Ratio Mismatch in experimenten. Ik zou de stickers op mijn laptop geen eer aan doen als ik de twee niet zou combineren en een nieuwe verbeterde experiment analyse tool zou creëren. Daarnaast is het hoog tijd vanwege de API update van versie 3 naar versie 4.

automatiseer je experiment analyse

EAT – Experiment Analyse Tool

De tool stelt je in staat om in een keer het resultaat van een experiment te analyseren waarbij je naast het totaalresultaat ook verschillende segmenten kan analyseren en een sample ratio mismatch check doet voor verschillende groepen.

De tool werkt in net zoals de vorige versie Google Sheets. Via de Google Analytics API add-on wordt er data uit Google Analytics opgehaald. Gelijk aan een normale analyse in Google Analytics wordt een experiment geanalyseerd door via een filter de varianten te specificeren. Door middel van een segment worden de bezoekers geïsoleerd die ook daadwerkelijk het experiment gezien hebben en het experiment doel bereikt hebben.

Aan de slag

Ga naar de Experiment Analyse Tool en maak een kopie van het bestand. Zo word je eigenaar en kan je alles aanpassen. Doorloop de onderstaande negen stappen zodat je een experiment kan analyseren via de tool:

automatiseer je experiment analyse

Stap 1 – Specificeer en selecteer een Google Analytics account

Noteer de accountnaam en het corresponderende nummer in het ‘Input’ blad en selecteer deze in het ‘Settings’ blad. In mijn vorige blog staat uitgelegd hoe je dit gemakkelijk kan vinden.

Stap 2 – Selecteer analyse datum

automatiseer je experiment analyse

Selecteer in het ‘Settings’ blad de analyse datum. Door dubbel te klikken op de datum opent er een handige selectie tool. Let op: de datum notatie is in het Amerikaans waarbij de maand als eerste staat genoteerd, dag als tweede en jaar als laatste (MM/DD/YY). Ik vind het ook het een vreselijke datumnotatie maar het is helaas nodig om bepaalde data zonder problemen op te halen.

Stap 3 – Specificeer experiment varianten

Allereerst moet de dimensie die wordt gebruikt om de experiment varianten te analyseren worden genoteerd in de rijen onder ‘Google Analytics dimension’. De Dimension & Metric Explorer kan helpen bij het selecteren van de juiste dimensie. Daarnaast moeten de varianten gespecificeerd worden onder het kopje ‘Variant targeting specification’, dit is de naam van de test + variant die naar Google Analytics wordt gestuurd.

Stap 4 – Specificeer en selecteer de te analyseren segmenten

In het ‘Input’ blad kunnen segmenten worden gecreëerd waarna deze in het ‘Settings’ blad gebruikt worden om een experiment te analyseren. Als je moeite hebt met het uitschrijven van segmenten kan je deze ook in de Google Analytics interface maken en daarna via de Query Explorer converteren naar een uitgeschreven code die de API kan gebruiken.

Daarnaast is het ook mogelijk om een extra conditie toe te voegen, dit kan bijvoorbeeld handig zijn als je het resultaat van Google Chrome gebruikers wilt analyseren.

Stap 5 – Selecteer extra segmenten om te analyseren

In deze stap kan je er voor kiezen om de resultaten op te splitsen per apparaatgroep en/of gebruikerstypes. Door de checkbox aan te kruisen wordt de analyse geactiveerd. De extra analyse kan nuttig zijn als er verschillende hypotheses zijn opgesteld per segment of als je een bepaald resultaat wilt doorgronden.

Stap 6 – Selecter extra rapporten om te analyseren

In deze stap kan je kiezen om ook een Sample Ratio Mismatch (SRM) check te doen. Bij een Sample Ratio Mismatch komt de steekproefverhouding niet overeen met het ontwerp van een experiment. Als je dit aanvinkt dan wordt er gecheckt of bij alle browsers, standaard kanaal groeperingen, gebruikerstypes, apparaatgroepen en op totaalniveau zich een fout voordoet. Als dit het geval is dan zal er in het ‘Results’ blad een SRM error verschijnen bij de groep waar de fout zich heeft voorgedaan. In het ‘SRM check’ blad kan worden gekeken waardoor de fout wordt veroorzaakt.

automatiseer je experiment analyse

Waarom staat de check niet standaard aan?
Door de check worden er extra rapporten opgevraagd. Het is daarom optioneel zodat je kan kiezen om snelheid te waarborgen en query cost te besparen.

Stap 7 – Extra opties

Als je een Google 360 account tot je beschikking hebt kan je deze functie gebruiken om unsampled data aan te vragen. Let wel op: er zit een maximum aan het aantal aanvragen per uur en dag dus ga hier verstandig mee om. Lees deze pagina voor meer informatie.

Stap 8 – Geavanceerde analyse opties

Deze opties geven de mogelijkheid de analyse toe te spitsen aan je behoeftes. Over het algemeen analyseer je sessies, rapporteer je gebruikers en maak je gebruik van een indirect sequentieel segment. Maar niet elke situatie vraagt naar deze instellingen en als het nodig is kan het aangepast worden.

Bijvoorbeeld bij websites waar bezoekers meerdere aankopen doen tijdens het live staan van een experiment. Hierbij is het aan te raden om sessies te rapporteren in plaats van gebruikers. Anders zou je maar één aankoop zien in plaats van de meerdere aankopen die er zijn geweest.

Stap 9 – Start de analyse

Navigeer naar ‘Add-ons’, selecteer ‘Google Analytics’ en start de analyse door op ‘Run reports’ te klikken.

automatiseer je experiment analyse 

Onder de analyse stap zul je het aantal query’s/rapporten zien die worden opgevraagd. Hoe groter het aantal opgevraagde rapporten des te langer de wachttijd voor de analyse. Daarnaast kan met het aantal gecontroleerd worden of alles goed is gegaan. Als het aantal afwijkt van het aantal succesvol opgehaalde rapporten betekent het dat er iets is fout gegaan.

De analyse

Als alles is gelukt zul je het volgende scherm te zien krijgen waarbij je eerste de Sampled data indicator en de SRM check zal zien en daarna de resultaten van de geselecteerde segmenten.

Als er sampling is kan dit verholpen worden door gebruik te maken van de anti-sampling tool van Reinier Koolmees. En als je up-to-date wilt blijven van de resultaten van een test lees dan eens het blog over e-mail alerts van Anouk Erens.

automatiseer je experiment analyse

Een kleine kanttekening: in het ‘Settings’, ‘SRM check’ en ‘Results’ blad heb ik een afbeelding toegevoegd die events naar Google Analytics stuurt als het blad laadt. Hierdoor kan ik zien hoeveel de tool en het artikel gebruikt en gelezen worden. Als je het wilt verwijderen kan dit door de laatste regels in de hierboven genoemde tabbladen te verwijderen.

Tot slot

Dit is één van de vele toepassing van de Google Sheets add-on maar je zou al je analyses kunnen automatiseren. Ik hoop dat ik heb kunnen helpen om de experiment analyse tijd te verminderen. Nu is er meer tijd over om te focussen op alle andere gedragsveranderingen die een experiment te weeg heeft gebracht en natuurlijk meer tijd voor webanalisten.nl;)

Handige bronnen: