![\"Ein](\"https:\/\/www.lukaswojcik.com\/blog\/wp-content\/uploads\/diagrams\/chunkgroesse-pruefen-de.png\")
Die Frage, die ein Testsatz beantworten muss<\/h2>\n
Der Abruf hat genau eine Aufgabe: die Passage mit der Antwort in die engere Auswahl zu bringen, die an das Modell geht. Ob das Modell danach eine gute Antwort schreibt, ist eine eigene Frage mit eigenen Ursachen – und beides zu vermischen ist es, was eine Bewertung teuer macht.<\/p>\n
Die Messung l\u00e4sst sich also trennen. Ein Satz Fragen, jede mit einem bekannten Ort der Antwort im Quellmaterial, und eine Kennzahl, die fragt, wie oft dieser Ort in den ersten k Ergebnissen auftaucht. Nichts davon braucht eine Texterzeugung, und damit kostet ein Durchlauf \u00fcber zw\u00f6lf Einstellungen die Einbettungen und sonst nichts.<\/p>\n
Die Kennzahl hei\u00dft Trefferquote in den ersten k Ergebnissen. F\u00fcr k gleich f\u00fcnf: In wie vielen von drei\u00dfig Fragen war die richtige Passage unter den ersten f\u00fcnf Treffern. Erg\u00e4nzt wird sie durch den mittleren Kehrwert des Rangs, der zus\u00e4tzlich belohnt, erster statt f\u00fcnfter zu sein – n\u00fctzlich, sobald die Trefferquote die Bewerber nicht mehr trennt.<\/p>\n
Drei\u00dfig Fragen bekommen, ohne drei\u00dfig Fragen zu schreiben<\/h2>\n
Ein Sprachmodell kann den Testsatz erzeugen, und genau hier lohnt sich Vorsicht, denn der naheliegende Weg erzeugt einen Satz, der nichts misst.<\/p>\n
Eine Frage aus einem Chunk zu erzeugen und dann zu pr\u00fcfen, ob dieser Chunk gefunden wird, ist ein Kreis: Die Frage wurde aus diesem Text geschrieben, teilt sein Vokabular und findet ihn unter fast jeder Einstellung. Der Test sagt dann, dass jede Einstellung hervorragend sei.<\/p>\n
Der Ausweg besteht darin, aus dem Dokument zu erzeugen und festzuhalten, wo die Antwort steht – nicht, in welchen Chunk sie gefallen ist. Die Zuordnung zum Chunk geschieht sp\u00e4ter, je Einstellung, zum Zeitpunkt der Auswertung.<\/p>\n
Vorgabe an den Erzeuger, je Quelldokument:\n\n Lies das folgende Dokument. Schreibe acht Fragen, die das Dokument\n beantwortet. Zitiere zu jeder Frage den Satz, der die Antwort\n enthaelt, woertlich. Keine Fragen, die Wissen von ausserhalb des\n Dokuments brauchen. Variiere die Formulierung, damit eine Frage\n nicht den Wortlaut ihres Belegsatzes wiederholt.\n\nErgebnis je Eintrag:\n\n { \"frage\": \"\u2026\", \"beleg\": \"woertlicher Satz aus dem Dokument\",\n \"dokument\": \"handbuch-2026.md\" }<\/code><\/pre>\nZwei Handgriffe folgen und kosten zwanzig Minuten. Die Fragen durchsehen und die l\u00f6schen, deren Antwort nicht wirklich im zitierten Satz steht – davon erzeugt der Generator einige. Und die Handvoll umschreiben, die den Quellsatz fast w\u00f6rtlich wiederholt, denn genau die w\u00fcrde jeder Einstellung schmeicheln.<\/p>\n
Drei\u00dfig bis f\u00fcnfzig Eintr\u00e4ge sind der brauchbare Bereich. Unterhalb von etwa f\u00fcnfundzwanzig verschiebt eine einzige kippende Frage das Ergebnis um vier Prozentpunkte und die Rangfolge wird zum Rauschen; oberhalb von f\u00fcnfzig \u00e4ndert die zus\u00e4tzliche Genauigkeit nicht mehr, welche Einstellung gewinnt.<\/p>\n
Den Durchlauf fahren<\/h2>\n
Jede Einstellung bedeutet: den Bestand erneut zerlegen, erneut einbetten und die Fragen hindurchschicken. Die Auswertung selbst ist ein Teilstring-Vergleich – der Chunk, der den festgehaltenen Satz enth\u00e4lt, ist der richtige.<\/p>\n
import itertools, json\n\nGROESSEN = [256, 512, 1024, 2048]\nUEBERLAPPUNG = [0.0, 0.2]\nK = 5\n\ndef treffer(fragen, index, k):\n n = 0\n for f in fragen:\n gefunden = index.suche(f[\"frage\"], k=k)\n if any(f[\"beleg\"] in c.text for c in gefunden):\n n += 1\n return n \/ len(fragen)\n\nfragen = json.load(open(\"testsatz.json\"))\nfor groesse, ueberlappung in itertools.product(GROESSEN, UEBERLAPPUNG):\n stuecke = zerlegen(korpus, groesse, int(groesse * ueberlappung))\n index = einbetten(stuecke)\n print(f\"{groesse:5d} {ueberlappung:.0%} \"\n f\"recall@{K} {treffer(fragen, index, K):.2f} \"\n f\"Stuecke {len(stuecke):5d}\")<\/code><\/pre>\nDrei Einzelheiten machen den Lauf vertrauensw\u00fcrdig. Der festgehaltene Satz muss nach derselben Vereinheitlichung verglichen werden, die auch der Zerleger anwendet – sonst macht ein zusammengezogener Zeilenumbruch aus einem richtigen Treffer einen Fehltreffer. Ein Satz, der genau auf eine Chunk-Grenze f\u00e4llt, gilt als gefunden, wenn einer der beiden Chunks ihn enth\u00e4lt – und genau daf\u00fcr ist eine \u00dcberlappung da. Und das Einbettungsmodell muss \u00fcber den ganzen Durchlauf dasselbe bleiben, denn ein Wechsel ver\u00e4ndert alles und der Vergleich verliert seine Bedeutung.<\/p>\n
Die Kosten lohnen sich vorher zu sch\u00e4tzen statt nachher. Acht Einstellungen \u00fcber einen Bestand von zwei Millionen Token ergeben mit der \u00dcberlappung rund achtzehn Millionen einzubettende Token – wenige Cent bis wenige Euro je nach Modell, und damit klein genug, dass der Durchlauf g\u00fcnstiger ist als ein Nachmittag Diskussion dar\u00fcber.<\/p>\n
Die Kurve lesen<\/h2>\n
Das Ergebnis eines solchen Laufs hat fast immer dieselbe Gestalt, und die Gestalt sagt mehr als die einzelnen Zahlen.<\/p>\n
\n\n\nChunk-Gr\u00f6\u00dfe<\/th>\n ohne \u00dcberlappung<\/th>\n 20 % \u00dcberlappung<\/th>\n Kontexttoken je Antwort bei k = 5<\/th>\n<\/tr>\n<\/thead>\n \n\n256<\/td>\n 0,71<\/td>\n 0,79<\/td>\n 1 280<\/td>\n<\/tr>\n \n512<\/td>\n 0,84<\/td>\n 0,88<\/td>\n 2 560<\/td>\n<\/tr>\n \n1024<\/td>\n 0,89<\/td>\n 0,90<\/td>\n 5 120<\/td>\n<\/tr>\n \n2048<\/td>\n 0,87<\/td>\n 0,87<\/td>\n 10 240<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\nDrei Lesarten ergeben sich daraus. Die Kurve steigt steil und flacht dann ab, und der Knick ist die Einstellung, die zu nehmen ist – hier 512, denn 1024 erkauft ein bis zwei Punkte mit dem doppelten Kontext in jeder einzelnen Antwort, auf Dauer.<\/p>\n
Die \u00dcberlappung verdient ihr Geld am kleinen Ende und verliert am gro\u00dfen ihre Bedeutung. Das folgt aus ihrem Zweck: Die \u00dcberlappung existiert, damit eine \u00fcber eine Grenze zerschnittene Antwort \u00fcberlebt, und die Zahl der Grenzen halbiert sich mit jeder Verdopplung der Chunk-Gr\u00f6\u00dfe. Bei 1024 Token ist eine \u00dcberlappung \u00fcberwiegend ein Aufschlag von zwanzig Prozent auf die Einbettungsrechnung.<\/p>\n
Und die gr\u00f6\u00dfte Einstellung ist schlechter als die darunter, was beim ersten Mal \u00fcberrascht. Ein Chunk von 2048 Token deckt mehrere Themen ab, seine Einbettung ist also ein Mittelwert \u00fcber alle und trifft nichts scharf. Gr\u00f6\u00dfere Chunks erh\u00f6hen die Wahrscheinlichkeit, dass die Antwort irgendwo in der engeren Auswahl liegt, und senken die Wahrscheinlichkeit, dass der richtige Chunk vorn steht.<\/p>\n
Ein Vergleich geh\u00f6rt in denselben Lauf und gewinnt ihn meist: an der Struktur zerlegen statt an einer Zahl. Ein Zerleger, der an \u00dcberschriften trennt und Abs\u00e4tze ganz l\u00e4sst, mit einer Gr\u00f6\u00dfenbegrenzung als Auffangregel, schl\u00e4gt bei Dokumenten mit Gliederung so gut wie jede feste Gr\u00f6\u00dfe – und der Durchlauf zeigt, um wie viel. Das ist das Argument daf\u00fcr, den Nachmittag in den Zerleger zu stecken statt in die Gr\u00f6\u00dfe.<\/p>\n
Was die Kennzahl nicht abdeckt<\/h2>\n
Die Trefferquote misst ein Glied der Kette, und drei Dinge liegen au\u00dferhalb.<\/p>\n
Das erste ist ein Nachsortierer. Wo einer im Einsatz ist, holt der Abruf eine weite Vorauswahl – f\u00fcnfzig, hundert – und der Nachsortierer k\u00fcrzt sie auf f\u00fcnf. Dann z\u00e4hlt die Trefferquote in den ersten f\u00fcnfzig, und die sieht ganz anders aus: fast \u00fcberall hoch, und die Chunk-Gr\u00f6\u00dfe h\u00f6rt auf, den Ausschlag zu geben. Die Trefferquote in den ersten f\u00fcnf in einem System mit Nachsortierung zu messen, beantwortet eine Frage, die niemand gestellt hat.<\/p>\n
Das zweite ist die Antwortg\u00fcte. Ein gefundener Chunk, der den Antwortsatz enth\u00e4lt, aber nicht den Satz davor, kann trotzdem zu einer falschen Antwort f\u00fchren, weil dem Modell die Bedingung fehlt, an der die Antwort hing. In dieser Kennzahl ist das unsichtbar, und der billigste Weg, es zu bemerken, sind zwanzig von Hand gelesene Antworten, sobald die Einstellung steht.<\/p>\n
Das dritte ist die Zeit. Ein Bestand w\u00e4chst, sein Vokabular verschiebt sich, und ein heute gebauter Testsatz \u00e4hnelt allm\u00e4hlich nicht mehr dem, was gefragt wird. Den Durchlauf einmal im Jahr zu wiederholen kostet eine Stunde, und der n\u00fctzlichere Teil dieser Stunde besteht darin, die inzwischen tats\u00e4chlich gestellten Fragen aufzunehmen – ein Testsatz aus echten Anfragen schl\u00e4gt einen erzeugten in jeder Hinsicht au\u00dfer in der Geschwindigkeit seiner Entstehung.<\/p>\n