De meter eerst: als je aankopen in Google Analytics dubbel tellen

Van onderzoek naar praktijk: een situatie uit het werk, wat onderzoek erover zegt, en wat we ervan maakten.

De praktijk

Een webshop verkoopt in een handvol landen. In één land lijkt de conversie flink lager dan een jaar eerder: dezelfde periode, vergelijkbaar bezoek, maar naar verhouding veel minder aankopen. Het ziet eruit als een probleem in die markt, en het is precies het soort signaal waar een advies van komt: "deze markt converteert lager dan hij gewend was".

Bij het nakijken valt iets anders op. Tot een bepaalde dag zijn de aantallen aankopen per dag opvallend vaak even. Daarna niet meer. Dat patroon past niet bij klanten, maar wel bij een meting die elke aankoop twee keer telt. Dan is de "daling" geen daling: vorig jaar telde Google Analytics elke aankoop dubbel, nu niet meer.

Dat advies houden we tegen tot de meting is nagekeken. Eerst leggen we de aankopen in Google Analytics naast de bestellingen in de webshop zelf.

Hoe aankopen dubbel gaan tellen

Bij webshops op Shopify gebeurt dit vaker dan je zou denken. Je kent het wel: in je Shopify-beheer staat een lijstje apps die je ooit installeerde, vaak een paar jaar geleden en door iemand anders. Een daarvan is meestal Google & YouTube, de app die je winkel tegenwoordig aan Google koppelt. Had je daarvoor al een meting, via een plugin, een stukje code in je thema of Google Tag Manager, dan kun je er zomaar twee hebben zonder het te weten. Google zegt zelf dat meerdere Google-tags één handeling dubbel kunnen tellen, en dat dat zowel je rapporten als je advertenties scheef trekt ^[1].

Google Analytics probeert dat op te vangen: twee aankopen met dezelfde bestelcode tellen als één ^[2]. Maar dat werkt alleen als beide metingen dezelfde code meesturen. Stuurt de ene het ordernummer mee en de andere een andere code, of een van de twee geen code, dan blijven het twee aankopen.

Het lastige: niets in je rapport ziet er kapot uit. Je conversie is gewoon hoog. Pas als de dubbele meting verdwijnt, bijvoorbeeld bij een nieuwe app of een opgeschoond thema, lijkt het alsof je verkoop inzakt.

Wat onderzoek zegt

In 2012 deden Thomas Blake en Chris Nosko van eBay samen met econoom Steven Tadelis een groot experiment ^[3]. Ze zetten de betaalde zoekadvertenties uit in een deel van de Amerikaanse regio's en lieten ze aan in de rest. Twee uitkomsten zijn hier van belang.

Bij advertenties op de eigen merknaam kwam 99,5% van de weggevallen klikken gewoon via de gewone zoekresultaten binnen. Het geld kocht verkeer dat eBay toch al kreeg.

Bij de andere zoekadvertenties, op gewone woorden als "schoenen" of "camera", rekende eBay eerst op de gewone manier: hoeveel verkoop volgde er op een klik op een advertentie, tegenover wat die advertenties kostten. Volgens die rekensom kwam er voor elke euro aan advertenties 17 tot 43 euro terug. Het experiment liet iets heel anders zien. eBay vergeleek de regio's waar de advertenties bleven draaien met de regio's waar ze uitstonden. Het verschil in verkoop was klein: voor elke euro die eBay aan advertenties uitgaf, verkocht het in de regio's mét advertenties maar ongeveer 37 cent meer dan in de regio's zonder. Een verlies van 63 cent op elke euro.

Het verschil zit in wie er op de advertentie klikte. Veel van die mensen kenden eBay al en hadden ook zonder advertentie gekocht. De gewone rekensom gaf de advertentie de eer voor een aankoop die toch wel kwam. Alleen bij nieuwe en zelden kopende klanten maakten de advertenties echt verschil.

De data zijn van 2012 en de bedragen zijn gedateerd. Het mechanisme niet: een cijfer kan keurig uit de data komen en toch het omgekeerde zeggen van wat er werkelijk gebeurt. Bij eBay zat de fout in de analyse, bij een dubbele meting zit hij in de meter zelf. In beide gevallen ziet het cijfer er volkomen geloofwaardig uit.

Wat we ervan maakten

Plotta kent het begrip meetbreuk: de dag vanaf welke een cijfer anders gemeten wordt. Zo'n dag leggen we per klant vast, met de cijfers die hij raakt. Een vergelijking over die dag heen, zoals dit jaar tegen vorig jaar, gaat niet zomaar naar een klant; bij het keuren van een advies is het een van de eerste dingen waarop we letten.

De werkregel daarachter is simpel: eerst de meter, dan het cijfer. Een opvallende daling of stijging is eerst een vraag aan de meting, en pas daarna een vraag aan de markt.