GA4-Alarme bei kleinen Zahlen: Schwelle, Intervall und statistisches Rauschen
Inhalt
Ein Alarm auf die Warenkorb-Ereignisse soll melden, wenn im Shop etwas kaputtgeht. Damit er das kann, muss der Rückgang deutlich größer sein als das, was die Zahlen ohnehin von allein tun. Erst dann ist der Unterschied signifikant – groß genug, um nicht bloß Zufall zu sein. Wo diese Grenze gezogen wird, ist die Schwelle des Alarms.
Genau daran scheitern die meisten Alarme in ruhigen Shops. Sie sind zwangsläufig so eingestellt, dass sie erst bei einer Halbierung anschlagen, und schweigen deshalb durch einen Bestellvorgang hindurch, der für ein Drittel der Kundschaft kaputt ist. Bei kleinen Zahlen liegt ein Drittel noch innerhalb der normalen Schwankung.
In welcher der beiden Lagen ein Shop ist, ist keine Ermessensfrage. Es hängt an einer einzigen Zahl: wie viele Ereignisse in ein Intervall fallen, also in das Zeitfenster, über das der Alarm zählt.
Warum kleine Zahlen stärker schwanken
Gezählte Dinge schwanken immer, auch wenn sich nichts geändert hat. Zehn Münzwürfe ergeben selten genau fünfmal Kopf; sieben oder drei kommen ständig vor. Tausend Würfe landen fast immer nahe bei der Hälfte. Die Schwankung verschwindet also nicht, sie fällt nur gegenüber der Gesamtmenge immer weniger ins Gewicht.
Für einen Alarm entscheidet genau dieses Verhältnis. Bei fünfundzwanzig Ereignissen beträgt die übliche Schwankung etwa fünf, ein Fünftel der Menge. Bei zweitausendfünfhundert Ereignissen beträgt sie etwa fünfzig: absolut zehnmal so viel, im Verhältnis aber nur noch ein Fünfzigstel. Große Zahlen sind ruhig, kleine sind unruhig.
Daraus folgt, wie groß ein Rückgang mindestens sein muss, damit er signifikant ist und der Alarm ihn überhaupt von normaler Schwankung unterscheiden kann.
| Ereignisse je Intervall | Rückgang, den der Alarm frühestens bemerkt |
|---|---|
| 50 | 76 % |
| 200 | 38 % |
| 800 | 19 % |
| 3200 | 10 % |
Die rechte Spalte ist der ganze Artikel. Sie sagt, welcher Anteil des Verkehrs verschwinden muss, bevor überhaupt etwas passiert, und bei fünfzig Ereignissen je Intervall sind das drei Viertel. Ein kaputter Warenkorbknopf, der ein Drittel der Kundschaft betrifft, bleibt dort unsichtbar. Die Zahlen gelten für eine übliche Schwelle und für echten Verkehr, der stärker schwankt als reines Zählen – dazu weiter unten mehr.
Warum eine niedrigere Schwelle nicht hilft
Die naheliegende Antwort ist, die Schwelle zu senken, damit der Alarm schon bei kleineren Rückgängen anschlägt. Das wirkt auch: Der erkennbare Rückgang sinkt um etwa ein Drittel. Nur steigt gleichzeitig die Zahl der Fehlalarme auf das Siebzehnfache.
Bei stündlicher Überwachung heißt das ungefähr jeden zweiten Tag ein Alarm, ohne dass irgendetwas vorgefallen wäre. Ein Alarm, der jeden zweiten Tag grundlos anschlägt, wird binnen zwei Wochen stummgeschaltet. Danach hat der Shop keine Überwachung mehr und dazu das Gefühl, eine zu haben – eine schlechtere Lage als die, in der er angefangen hat.
Die Schwelle ist ein Handel zwischen zwei Fehlern: etwas übersehen oder grundlos alarmieren. Solange die Zahlen klein sind, ist dieser Handel an beiden Enden schlecht.
Ein längeres Intervall statt einer niedrigeren Schwelle
Es gibt einen Weg, der ohne diesen Handel auskommt: mehr Ereignisse in ein Intervall bekommen, indem das Intervall länger wird. Viermal so viele Ereignisse machen den Alarm doppelt so empfindlich, bei gleicher Schwelle und gleicher Fehlalarmrate je Intervall.
| Intervall | Ereignisse darin | Kleinster sichtbarer Rückgang | Alarm kommt nach |
|---|---|---|---|
| 5 min | 17 | 100 % | fünf Minuten |
| 15 min | 50 | 76 % | einer Viertelstunde |
| 1 h | 200 | 38 % | einer Stunde |
| 4 h | 800 | 19 % | vier Stunden |
Die Zahlen gehören zu einem Shop mit 4800 Ereignissen am Tag, rund um die Uhr überwacht. Die Fünf-Minuten-Zeile ist die, die üblicherweise eingestellt wird, weil fünf Minuten nach schneller Reaktion klingen – und sie ist die Zeile, die überhaupt nichts erkennt.
Was das längere Intervall kostet, steht in der letzten Spalte und sonst nirgends: So lange läuft eine Störung unbemerkt. Vier Stunden sind für einen Bestellvorgang zu lang und für eine nächtliche Datenlieferung völlig in Ordnung. Das Intervall gehört deshalb zum überwachten Gegenstand und nicht in eine allgemeine Hausregel.
Echter Verkehr schwankt stärker als reines Zählen
Bis hierhin war nur von der Schwankung des Zählens die Rede. Echter Verkehr hat zusätzlich einen Tagesrhythmus, einen Wochenrhythmus und Ausschläge um Zahltage herum. Wird dagegen ein einziger flacher Durchschnitt gehalten, zählt all das als Schwankung mit: Der Alarm hält dann den Feierabend für eine Störung und die Mittagsspitze für eine Erholung.
Deshalb sind die Zahlen in den Tabellen oben schlechter, als reines Zählen erwarten ließe. Das ist kein Rechentrick, sondern der Preis einer Vergleichsgrundlage, die nicht weiß, wie spät es ist.
Eine Vergleichsgrundlage aus derselben Stunde desselben Wochentags der letzten Wochen nimmt den Rhythmus heraus. Diese eine Änderung bringt für die Empfindlichkeit mehr als jede Feinjustierung an der Schwelle – sie wirkt ungefähr so, als hätte der Shop viermal so viel Verkehr.
Wenn die Zahlen schlicht zu klein sind
Manche Shops erreichen in keinem brauchbar kurzen Intervall dreistellige Zahlen, und daran ändert keine Statistik etwas. Was dort trägt, ist, nicht mehr die Ereignisse zu zählen, sondern zwei Zahlen ins Verhältnis zu setzen.
Sitzungen und Warenkorb-Ereignisse fallen beide nachts und steigen beide am Montag. Das Verhältnis der beiden tut beides nicht; es bleibt ruhig, während beide Einzelzahlen wandern. Eine Schwelle auf diesem Verhältnis trägt deshalb noch bei Mengen, bei denen eine Schwelle auf der reinen Anzahl aussichtslos ist. Ein kaputter Warenkorbknopf verschiebt das Verhältnis sofort, während er die Zahl der Sitzungen kaum berührt.
Die Rechnung dieses Artikels gilt dabei weiterhin. Sie gilt nur für eine Größe, die nicht schon vom Tagesrhythmus zugedeckt ist, bevor der Alarm überhaupt hinsieht.
Passend dazu
