English
Deutsch
PolskiGA4-Alarme bei kleinen Zahlen: Schwelle, Intervall und statistisches Rauschen
Inhalt
Ein Alarm auf die Warenkorb-Ereignisse soll melden, wenn im Shop etwas kaputtgeht. Damit er das kann, muss der Rückgang deutlich größer sein als das, was die Zahlen ohnehin von allein tun. Erst dann ist der Unterschied signifikant – groß genug, um nicht bloß Zufall zu sein. Wo diese Grenze gezogen wird, ist die Schwelle des Alarms.
Genau daran scheitern die meisten Alarme in ruhigen Shops. Sie sind zwangsläufig so eingestellt, dass sie erst bei einer Halbierung anschlagen, und schweigen deshalb durch einen Bestellvorgang hindurch, der für ein Drittel der Kundschaft kaputt ist. Bei kleinen Zahlen liegt ein Drittel noch innerhalb der normalen Schwankung.
In welcher der beiden Lagen ein Shop ist, ist keine Ermessensfrage. Es hängt an einer einzigen Zahl: wie viele Ereignisse in ein Intervall fallen, also in das Zeitfenster, über das der Alarm zählt.
Warum kleine Zahlen stärker schwanken
Gezählte Dinge schwanken immer, auch wenn sich nichts geändert hat. Zehn Münzwürfe ergeben selten genau fünfmal Kopf; sieben oder drei kommen ständig vor. Tausend Würfe landen fast immer nahe bei der Hälfte. Die Schwankung verschwindet also nicht, sie fällt nur gegenüber der Gesamtmenge immer weniger ins Gewicht.
Für einen Alarm entscheidet genau dieses Verhältnis. Bei fünfundzwanzig Ereignissen beträgt die übliche Schwankung etwa fünf, ein Fünftel der Menge. Bei zweitausendfünfhundert Ereignissen beträgt sie etwa fünfzig: absolut zehnmal so viel, im Verhältnis aber nur noch ein Fünfzigstel. Große Zahlen sind ruhig, kleine sind unruhig.
Daraus folgt, wie groß ein Rückgang mindestens sein muss, damit er signifikant ist und der Alarm ihn überhaupt von normaler Schwankung unterscheiden kann.
| Ereignisse je Intervall | Rückgang, den der Alarm frühestens bemerkt |
|---|---|
| 50 | 76 % |
| 200 | 38 % |
| 800 | 19 % |
| 3200 | 10 % |
Die rechte Spalte ist der ganze Artikel. Sie sagt, welcher Anteil des Verkehrs verschwinden muss, bevor überhaupt etwas passiert, und bei fünfzig Ereignissen je Intervall sind das drei Viertel. Ein kaputter Warenkorbknopf, der ein Drittel der Kundschaft betrifft, bleibt dort unsichtbar. Die Zahlen gelten für eine übliche Schwelle und für echten Verkehr, der stärker schwankt als reines Zählen – dazu weiter unten mehr.
Warum eine niedrigere Schwelle nicht hilft
Die naheliegende Antwort ist, die Schwelle zu senken, damit der Alarm schon bei kleineren Rückgängen anschlägt. Das wirkt auch: Der erkennbare Rückgang sinkt um etwa ein Drittel. Nur steigt gleichzeitig die Zahl der Fehlalarme auf das Siebzehnfache.
Bei stündlicher Überwachung heißt das ungefähr jeden zweiten Tag ein Alarm, ohne dass irgendetwas vorgefallen wäre. Ein Alarm, der jeden zweiten Tag grundlos anschlägt, wird binnen zwei Wochen stummgeschaltet. Danach hat der Shop keine Überwachung mehr und dazu das Gefühl, eine zu haben – eine schlechtere Lage als die, in der er angefangen hat.
Die Schwelle ist ein Handel zwischen zwei Fehlern: etwas übersehen oder grundlos alarmieren. Solange die Zahlen klein sind, ist dieser Handel an beiden Enden schlecht.
Ein längeres Intervall statt einer niedrigeren Schwelle
Es gibt einen Weg, der ohne diesen Handel auskommt: mehr Ereignisse in ein Intervall bekommen, indem das Intervall länger wird. Viermal so viele Ereignisse machen den Alarm doppelt so empfindlich, bei gleicher Schwelle und gleicher Fehlalarmrate je Intervall.
| Intervall | Ereignisse darin | Kleinster sichtbarer Rückgang | Alarm kommt nach |
|---|---|---|---|
| 5 min | 17 | 100 % | fünf Minuten |
| 15 min | 50 | 76 % | einer Viertelstunde |
| 1 h | 200 | 38 % | einer Stunde |
| 4 h | 800 | 19 % | vier Stunden |
Die Zahlen gehören zu einem Shop mit 4800 Ereignissen am Tag, rund um die Uhr überwacht. Die Fünf-Minuten-Zeile ist die, die üblicherweise eingestellt wird, weil fünf Minuten nach schneller Reaktion klingen – und sie ist die Zeile, die überhaupt nichts erkennt.
Was das längere Intervall kostet, steht in der letzten Spalte und sonst nirgends: So lange läuft eine Störung unbemerkt. Vier Stunden sind für einen Bestellvorgang zu lang und für eine nächtliche Datenlieferung völlig in Ordnung. Das Intervall gehört deshalb zum überwachten Gegenstand und nicht in eine allgemeine Hausregel.
Echter Verkehr schwankt stärker als reines Zählen
Bis hierhin war nur von der Schwankung des Zählens die Rede. Echter Verkehr hat zusätzlich einen Tagesrhythmus, einen Wochenrhythmus und Ausschläge um Zahltage herum. Wird dagegen ein einziger flacher Durchschnitt gehalten, zählt all das als Schwankung mit: Der Alarm hält dann den Feierabend für eine Störung und die Mittagsspitze für eine Erholung.
Deshalb sind die Zahlen in den Tabellen oben schlechter, als reines Zählen erwarten ließe. Das ist kein Rechentrick, sondern der Preis einer Vergleichsgrundlage, die nicht weiß, wie spät es ist.
Eine Vergleichsgrundlage aus derselben Stunde desselben Wochentags der letzten Wochen nimmt den Rhythmus heraus. Diese eine Änderung bringt für die Empfindlichkeit mehr als jede Feinjustierung an der Schwelle – sie wirkt ungefähr so, als hätte der Shop viermal so viel Verkehr.
Wenn die Zahlen schlicht zu klein sind
Manche Shops erreichen in keinem brauchbar kurzen Intervall dreistellige Zahlen, und daran ändert keine Statistik etwas. Was dort trägt, ist, nicht mehr die Ereignisse zu zählen, sondern zwei Zahlen ins Verhältnis zu setzen.
Sitzungen und Warenkorb-Ereignisse fallen beide nachts und steigen beide am Montag. Das Verhältnis der beiden tut beides nicht; es bleibt ruhig, während beide Einzelzahlen wandern. Eine Schwelle auf diesem Verhältnis trägt deshalb noch bei Mengen, bei denen eine Schwelle auf der reinen Anzahl aussichtslos ist. Ein kaputter Warenkorbknopf verschiebt das Verhältnis sofort, während er die Zahl der Sitzungen kaum berührt.
Die Rechnung dieses Artikels gilt dabei weiterhin. Sie gilt nur für eine Größe, die nicht schon vom Tagesrhythmus zugedeckt ist, bevor der Alarm überhaupt hinsieht.
Fragen und Antworten
Warum macht erst die vierfache Menge den Alarm doppelt so empfindlich?
Weil die übliche Schwankung einer Zählung mit der Quadratwurzel der Menge wächst. Bei 25 Ereignissen beträgt sie etwa fünf, bei 100 etwa zehn: absolut doppelt so viel, im Verhältnis zur Menge aber nur noch halb so viel. Deshalb halbiert sich in der Tabelle der kleinste erkennbare Rückgang mit jeder Vervierfachung, von 76 % bei 50 Ereignissen auf 38 % bei 200.
Lässt sich ein vollständiger Ausfall schneller erkennen als ein teilweiser?
Ja, und die Tabelle deutet es selbst an: In der Fünf-Minuten-Zeile steht 100 %, dieses Intervall erkennt also genau einen Rückgang, den vollständigen. Ein Totalausfall stellt eine andere Frage als ein Einbruch um ein Drittel, nämlich nicht, ob weniger kam, sondern ob überhaupt etwas kam.
Bei reinem Zählen, also wenn Ereignisse unabhängig voneinander eintreffen, ist ein leeres Intervall sehr unwahrscheinlich, sobald einige Ereignisse erwartet werden. Dass ein Intervall mit im Mittel 17 Ereignissen zufällig keines enthält, geschieht in etwa vier von hundert Millionen Fällen. Ein Alarm auf „null Ereignisse in fünf Minuten“ schlägt bei diesem Shop also praktisch nur bei einem echten Ausfall an.
Die Grenze setzt der Tagesrhythmus. Werden nachts im Mittel nur zwei Ereignisse je fünf Minuten erwartet, ist schon bei reinem Zählen etwa jedes siebte Intervall leer, bei echtem Verkehr eher mehr. Ein Null-Alarm braucht deshalb dieselbe Vergleichsgrundlage wie jeder andere, die erwartete Zahl aus derselben Stunde desselben Wochentags, und darf nur dort anschlagen, wo diese Erwartung groß genug ist.
Braucht auch eine Schwelle auf einem Verhältnis genügend Ereignisse?
Ja, nur an anderer Stelle. Das Verhältnis aus Warenkorb-Ereignissen und Sitzungen nimmt den Tages- und Wochenrhythmus heraus, nicht aber die Schwankung des Zählens. Die steckt vor allem in der kleineren der beiden Zahlen: Kommen auf 1.000 Sitzungen 50 Warenkorb-Ereignisse, schwankt das Verhältnis ungefähr so stark wie eine Zählung von 50.
Für die kleinere Zahl gilt deshalb weiter die erste Tabelle. Das Verhältnis hilft, weil es erlaubt, das Intervall zu verlängern und Nacht und Tag gemeinsam zu betrachten, ohne dass der Rhythmus die Rechnung verdirbt; welcher Rückgang sichtbar wird, bestimmt aber die Menge der Warenkorb-Ereignisse im Intervall.
Kommt ein stündlicher Alarm auf GA4-Daten wirklich nach einer Stunde?
Nur, wenn die Zahlen dieser Stunde schon vorliegen. Die letzte Spalte der zweiten Tabelle zählt das Intervall, nicht die Zeit, bis die Datenquelle es vollständig kennt. GA4 verarbeitet Ereignisse mit Verzögerung; bis die Zahlen einer Stunde in den Berichten vollständig sind, vergehen oft Stunden, und der tägliche BigQuery-Export erscheint erst am Folgetag.
Für eine Überwachung im Stundentakt taugen daher Quellen, die schnell vorliegen: die Echtzeitberichte und die Echtzeit-Abfrage der Data API, die die letzten 30 Minuten abdecken, der Streaming-Export nach BigQuery oder für Käufe die Bestelltabelle des Shops. An der Empfindlichkeit ändert die Wahl nichts, die Rechnung des Artikels gilt für jede Quelle; nur die Wartezeit bis zum Alarm hängt an ihr.
Praxiskontrolle: Wochentagsbasis ohne den Prüftag
Der GA4-Anomalieprüfer vergleicht einen gewählten Berichtstag jetzt mit demselben Wochentag der acht vorherigen Wochen. Ein Donnerstag wird mit acht Donnerstagen verglichen. Der Prüftag bleibt aus Referenzmittelwert und Stichproben-Standardabweichung ausgeschlossen. Ein starker Einbruch kann damit nicht seine eigene Vergleichsbasis nach unten ziehen.
Das Werkzeug liest Sitzungen, Nutzer insgesamt, Seiten-/Bildschirmaufrufe, Key Events, Ereignisanzahl, Gesamtumsatz und Interaktionsrate über die lesende Data API. Vorausgewählt ist der Tag vor vier Tagen, um Verarbeitungszeit einzuräumen. Dieser Abstand bestätigt jedoch keine vollständigen Daten. Die Berichtszeitzone der Property und die Antwortmetadaten bleiben maßgeblich.
- Einen abgeschlossenen Tag wählen und die acht im Ergebnis genannten Referenztage prüfen.
- Fehlt ein erforderliches Datum in der Antwort, wird der Vergleich ausgesetzt. Fehlende Zeilen werden nicht still durch null ersetzt; eine ausdrücklich gemeldete null bleibt null.
- Den beschreibenden z-Wert anhand der gewählten Schwelle untersuchen. Bei einer konstanten Basis erscheint entweder keine Änderung oder eine Abweichung von diesem konstanten Wert, ohne Division durch null.
- Die neun Vergleichstage als CSV herunterladen und Auffälligkeiten mit Releases, Kampagnen, Feiertagen und weiteren Befunden abgleichen.
Acht Beobachtungen bilden eine kleine Vergleichsbasis. Die Hinweise sind keine kalibrierten Signifikanztests; sieben gleichzeitige Kennzahlprüfungen können Zufallstreffer erzeugen. Gleiche Wochentage beseitigen weder Trends und Sonderaktionen noch Einwilligungsänderungen oder Verarbeitungsverzögerungen. Ein unauffälliger Wert belegt keine vollständige Messung, ein auffälliger Wert keine Ursache. Dies ist ein manuelles Untersuchungswerkzeug, kein zeitgesteuerter Alarmdienst.
Quellen: Google-runReport-Referenz, Kennzahldefinitionen sowie NIST zur Ausreißererkennung und ihren Voraussetzungen.
Passend dazu
