Het werk van een digitaal analist is enorm moeilijk. Microsoft en Google publiceerden een paper -“On the Near Impossibility of Measuring the Returns to Advertising” – die focust op hoe het bijna onmogelijk is om de return on investment te meten. In dit artikel beschouwt Clickz waarom je werk als digitaal analist onmogelijk is, en wat je dan eigenlijk wel doet.

Waarom je werk bijna onmogelijk is

Door het gebruik van 25 online experimenten, met in totaal $2,8 miljoen in advertentie uitgaven, kwamen Randall A. Lewis (economic research scientist, Google) en Justin M. Rao (economic researcher, Microsoft) tot de conclusie dat je niet de causuale impact van keuze variabelen in omzet kunt meten, zelfs als je toegang hebt tot betrouwbare data.

Attributie? Vergeet het maar.

In hun eigen woorden:

“We kwamen er achter dat zelfs wanneer advertentievertoningen en consumentenaankopen gemeten kunnen worden op een individueel niveau, over verschillende aankoopdomeinen heen gelinkt, en verzekerd van exogene blootstelling, is het vormen van betrouwbare schattingen op de return of investment van advertenties ongelooflijk lastig, zelfs met miljoenen observaties. Als een adverteerder heb je de data tegen je werken.”

Er is gewoon te veel ruis in het systeem. Om statistieke significantie te bereiken moet je zoveel advertenties draaien dat de omstandigheden van de markt drastisch zullen veranderen tussen het begin en het einde. Je hebt miljoenen mensenweken aan trials nodig om betrouwbaar ongelijke hypotheses te kunnen onderscheiden.

Nog erger, het beantwoorden van vragen als “was de ROI 15% of -5% of “was de ROI over het jaar heen ten minste 5%” heeft gemiddeld genomen ten minsten honderden miljoenen onafhankelijke mensenweken nodig. Dat is vrijwel onmogelijk voor een realistische campagne, ongeacht de grootte.

En dat is alleen nog maar de return on investment. “Het bepalen van hoe de ROI zo winstgevend mogelijk te maken is nog veel moeilijker, omdat je aannames en inschattingen moet doen over de onderliggende winstfuncties.”

De paper heeft verschillende grafieken die je linker- en rechterbrein bezig houden, zoals deze die een ROI model toont waar “c* de optimale investering weergeeft, en ch (h voor ‘hoog) de investering is waar de ROI exact 0% is. Elk punt voorbij ch en het bedrijf heeft negatieve inkomsten op de investering, waar elk punt links van c∗ aangeeft dat het bedrijf niet genoeg adverteert.”

Er zijn een heleboel berekeningen en referenties, maar de conclusie is duidelijk: “de advertentiemarkt als geheel heeft mogelijk incorrecte overtuigingen over de causuale impact van adverteren op consumentengedrag.”

Wat doet een digitaal analist dan wel?

Hetzelfde als professionals in andere industrieën: we verzinnen dingen terwijl we ze doen.

• Mensen werken in de geneeskunde. Er is geen definitieve definitie van ‘gezond’.
• Mensen werken in juridische velden. Je kunt een zaak winnen, maar daar kan tegen in beroep gegaan worden.
• Mensen werken in accounting. Iedereen kan gecontroleerd worden.
• Mensen werken in programmeren. Er is geen ideaal programma.

Bovenaan de voedselketen staat de Marketing Mix en onderaan Optimalisatie. Je kunt heel wijs met bakken geld wat schuiven tussen televisie advertenties en pay-per-click zoekopdrachten of van online display naar retargeting. Je kunt complexe test tools inzetten en het design van gebruikerservaringen tweaken voor kleine verbeteringen in de uitkomsten.

Maar in het midden is attributie, waar het doel is om een model te creëeren dat zo veel verschillende variabelen kan verklaren, dat het je simpelweg vertelt waar, wanneer en hoe je je geld uit moet geven.

Dit is gebaseerd op de aanname dat als je maar goed genoeg en lang genoeg in alfabetsoep roert, je uiteindelijk alle werken van Shakespeare krijgt.

In de woorden van Lewis en Rao, “dit is niet onmogelijk, maar buitengewoon moeilijk”.
In de woorden van George Box, “alle modellen zijn verkeerd, maar sommigen zijn bruikbaar”.

Als je een bruikbaar model vindt, gefeliciteerd! Gebruik het zolang het bruikbaar is, maar niet langer. En luister naar dat andere advies: “in statistieken, als in kunst, moet je nooit verliefd worden op je model”.