Alerty GA4 przy małych liczbach: próg, przedział i szum statystyczny

Alarm na zdarzenia koszyka ma zgłaszać, że w sklepie coś się zepsuło. Żeby mógł to zrobić, spadek musi być wyraźnie większy niż to, co liczby i tak robią same z siebie. Dopiero wtedy różnica jest istotna – na tyle duża, by nie była zwykłym przypadkiem. Miejsce, w którym przebiega ta granica, to próg alarmu.

Właśnie na tym zawodzi większość alarmów w spokojnych sklepach. Są z konieczności ustawione tak, że odzywają się dopiero przy spadku o połowę, więc przemilczają proces zakupowy zepsuty dla jednej trzeciej klientów. Przy małych liczbach jedna trzecia mieści się jeszcze w normalnym wahaniu.

W której z tych dwóch sytuacji jest dany sklep, nie jest kwestią uznania. Zależy to od jednej liczby: ile zdarzeń wpada w jeden przedział, czyli w okno czasowe, po którym alarm liczy.

Dlaczego małe liczby wahają się mocniej

Liczone rzeczy zawsze się wahają, nawet gdy nic się nie zmieniło. Dziesięć rzutów monetą rzadko daje dokładnie pięć orłów; siedem albo trzy zdarzają się bez przerwy. Tysiąc rzutów niemal zawsze ląduje blisko połowy. Wahanie zatem nie znika, po prostu waży coraz mniej wobec całości.

Dla alarmu rozstrzyga właśnie ta proporcja. Przy dwudziestu pięciu zdarzeniach typowe wahanie wynosi około pięciu, czyli jedną piątą całości. Przy dwóch i pół tysiącach zdarzeń wynosi około pięćdziesięciu: bezwzględnie dziesięć razy więcej, ale względnie już tylko jedną pięćdziesiątą. Duże liczby są spokojne, małe są niespokojne.

Stąd wynika, jak duży musi być spadek co najmniej, żeby był istotny i żeby alarm w ogóle odróżnił go od normalnego wahania.

Prawa kolumna to cały ten artykuł. Mówi, jaka część ruchu musi zniknąć, zanim w ogóle cokolwiek się wydarzy, a przy pięćdziesięciu zdarzeniach na przedział są to trzy czwarte. Zepsuty przycisk koszyka dotykający jednej trzeciej klientów pozostaje tam niewidoczny. Liczby dotyczą zwykłego progu i prawdziwego ruchu, który waha się mocniej niż samo liczenie – o tym niżej.

Dlaczego niższy próg nie pomaga

Nasuwającą się odpowiedzią jest obniżenie progu, tak by alarm odzywał się już przy mniejszych spadkach. To rzeczywiście działa: wykrywalny spadek maleje o mniej więcej jedną trzecią. Tyle że jednocześnie liczba fałszywych alarmów rośnie siedemnastokrotnie.

Przy monitorowaniu co godzinę oznacza to mniej więcej co drugi dzień alarm, choć nic się nie wydarzyło. Alarm odzywający się bez powodu co drugi dzień zostaje wyciszony w ciągu dwóch tygodni. Potem sklep nie ma już monitoringu, a ma poczucie, że go ma – położenie gorsze niż to, od którego zaczął.

Próg jest wymianą między dwoma błędami: przeoczyć coś albo alarmować bez powodu. Dopóki liczby są małe, ta wymiana jest zła po obu stronach.

Dłuższy przedział zamiast niższego progu

Jest droga, która omija tę wymianę: zmieścić więcej zdarzeń w jednym przedziale, wydłużając ten przedział. Czterokrotnie więcej zdarzeń czyni alarm dwukrotnie czulszym, przy tym samym progu i tej samej częstości fałszywych alarmów na przedział.

Liczby dotyczą sklepu z 4800 zdarzeniami dziennie, monitorowanego całą dobę. Wiersz pięciominutowy jest tym, który zwykle się ustawia, bo pięć minut brzmi jak szybka reakcja – i jest wierszem, który nie wykrywa niczego.

Ile kosztuje dłuższy przedział, stoi w ostatniej kolumnie i nigdzie indziej: tyle czasu awaria trwa niezauważona. Cztery godziny są dla procesu zakupowego za długie, a dla nocnej dostawy danych całkiem w porządku. Przedział należy więc do obserwowanego przedmiotu, a nie do ogólnego regulaminu.

Prawdziwy ruch waha się mocniej niż samo liczenie

Do tej pory mowa była wyłącznie o wahaniu samego liczenia. Prawdziwy ruch ma dodatkowo rytm dobowy, rytm tygodniowy i wyskoki wokół dni wypłat. Trzymany wobec jednej płaskiej średniej, wszystko to liczy się również jako wahanie: alarm bierze wtedy koniec dnia za awarię, a szczyt w porze obiadowej za poprawę.

Dlatego liczby w tabelach powyżej są gorsze, niż sugerowałoby samo liczenie. To nie sztuczka rachunkowa, lecz cena linii odniesienia, która nie wie, która jest godzina.

Linia odniesienia zbudowana z tej samej godziny tego samego dnia tygodnia z ostatnich tygodni usuwa rytm. Ta jedna zmiana daje czułości więcej niż jakiekolwiek dostrajanie progu – działa mniej więcej tak, jakby sklep miał czterokrotnie większy ruch.

Gdy liczby są po prostu za małe

Niektóre sklepy w żadnym użytecznie krótkim przedziale nie osiągają liczb trzycyfrowych i żadna statystyka tego nie zmieni. Rozwiązaniem jest tam przestać zliczać zdarzenia, a zamiast tego zestawić dwie liczby w stosunek.

Sesje i zdarzenia koszyka nocą spadają obie i w poniedziałek rosną obie. Ich stosunek nie robi ani jednego, ani drugiego; pozostaje spokojny, podczas gdy obie pojedyncze liczby wędrują. Próg na tym stosunku działa więc jeszcze przy wielkościach, przy których próg na samej liczbie jest beznadziejny. Zepsuty przycisk koszyka rusza stosunek natychmiast, ledwie dotykając liczby sesji.

Rachunek z tego artykułu nadal przy tym obowiązuje. Obowiązuje tylko dla wielkości, której rytm dobowy nie przykrył, zanim alarm w ogóle na nią spojrzał.