![\"Ein](\"https:\/\/www.lukaswojcik.com\/blog\/wp-content\/uploads\/diagrams\/abschnittsgroesse-de.png\")
Warum die \u00dcberlappung Geld kostet<\/h2>\n
Die Abschnitte r\u00fccken nicht um ihre volle L\u00e4nge vor, sondern nur um den Teil, der nicht \u00fcberlappt. Bei einer Abschnittsgr\u00f6\u00dfe von 512 Token und einer \u00dcberlappung von 64 r\u00fcckt jeder Abschnitt also um 448 vor. F\u00fcr dasselbe Dokument braucht es damit mehr Abschnitte – und weil jeder Abschnitt in voller L\u00e4nge abgelegt wird, landet der \u00fcberlappende Teil zweimal im Speicher.<\/p>\n
Die Tabelle zeigt, was das f\u00fcr ein Dokument von 200.000 Token bedeutet, bei einer Abschnittsgr\u00f6\u00dfe von 512.<\/p>\n
| \u00dcberlappung<\/th>\n | Abschnitt r\u00fcckt vor um<\/th>\n | Zahl der Abschnitte<\/th>\n | Abgelegt insgesamt<\/th>\n | Aufschlag<\/th>\n<\/tr>\n<\/thead>\n | ||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 64 Token (12 %)<\/td>\n | 448<\/td>\n | 447<\/td>\n | 228.864<\/td>\n | +14 %<\/td>\n<\/tr>\n | ||||||||||||
| 128 Token (25 %)<\/td>\n | 384<\/td>\n | 521<\/td>\n | 266.752<\/td>\n | +33 %<\/td>\n<\/tr>\n | ||||||||||||
| 256 Token (50 %)<\/td>\n | 256<\/td>\n | 781<\/td>\n | 399.872<\/td>\n | +100 %<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n Die letzte Zeile lohnt sich zu merken: Eine \u00dcberlappung von der halben Abschnittsgr\u00f6\u00dfe legt jedes Token zweimal ab. Der Aufschlag w\u00e4chst nicht gleichm\u00e4\u00dfig mit der \u00dcberlappung, sondern schie\u00dft hoch, sobald der Vorschub schmal wird. Deshalb liegt der brauchbare Bereich zwischen zehn und zwanzig Prozent, und deshalb braucht alles oberhalb eines Drittels einen Grund.<\/p>\n Wof\u00fcr die \u00dcberlappung \u00fcberhaupt da ist<\/h2>\nEin starrer Schnitt trennt dort, wo der Z\u00e4hler abl\u00e4uft, und das ist regelm\u00e4\u00dfig mitten in dem Satz, in dem die Antwort steht. Die \u00dcberlappung sorgt daf\u00fcr, dass dieser Satz in mindestens einem Abschnitt vollst\u00e4ndig vorkommt – und das ist ihre gesamte Aufgabe.<\/p>\n Die \u00dcberlappung muss also nur so gro\u00df sein wie die Stelle, die nicht zerrissen werden darf. Bei Flie\u00dftext sind zwei bis drei S\u00e4tze gro\u00dfz\u00fcgig, und zwei bis drei S\u00e4tze sind etwa sechzig bis hundert Token. Gr\u00f6\u00dfere Werte werden meist aus Vorsicht gew\u00e4hlt und im Speicher bezahlt, ohne etwas einzubringen: Ein Satz, der ohnehin vollst\u00e4ndig in einen Abschnitt passt, passt nicht vollst\u00e4ndiger hinein, weil er auch im n\u00e4chsten steht.<\/p>\n An der Struktur zu schneiden schl\u00e4gt das Schneiden nach Zahl<\/h2>\nDie bessere Antwort auf dasselbe Problem ist, gar nicht erst mitten im Satz zu trennen. An \u00dcberschriften zu schneiden, dann an Abs\u00e4tzen und erst dann auf eine Tokenzahl zur\u00fcckzufallen, wenn ein Absatz die Gr\u00f6\u00dfe \u00fcbersteigt, nimmt der \u00dcberlappung den gr\u00f6\u00dften Teil ihres Grundes – und es erzeugt Abschnitte, deren Inhalt zusammengeh\u00f6rt, was die Einbettung ja abbilden soll.<\/p>\n Die Erg\u00e4nzung, die fast nichts kostet, ist der \u00dcberschriftenpfad je Abschnitt, dem Text vorangestellt. Ein Abschnitt, der mit Handbuch > Abrechnung > K\u00fcndigung<\/em> beginnt, wird besser gefunden und liest sich in der Vorgabe besser, weil er den Zusammenhang mitbringt, den der Schnitt genommen hat.<\/p>\n Der Fehler gro\u00dfer Abschnitte ist der von au\u00dfen schwer sichtbare. Eine Einbettung ist ein einziger Punkt f\u00fcr den ganzen Text; ein Abschnitt \u00fcber drei Gegenst\u00e4nde liegt also irgendwo zwischen allen dreien und keinem nahe. Der Abruf meldet das nicht, er liefert einfach etwas anderes, und die Antwort entsteht aus einer Stelle, die nicht ganz die richtige war.<\/p>\n Einen Bestand einzubetten ist billig und geschieht einmal. Die Abschnittsgr\u00f6\u00dfe ist aber zugleich die Einheit, in der der abgerufene Text gemessen wird, den der Assistent bei jeder Frage vorgelegt bekommt – und der wird jedes Mal bezahlt. Acht Abschnitte zu 512 Token sind 4096 Token, die das Modell liest, bevor es die Frage \u00fcberhaupt gesehen hat.<\/p>\n Auf diese Zahl ist auszulegen, denn sie multipliziert sich mit der Zahl der Fragen und nicht mit der Gr\u00f6\u00dfe des Bestands. Die Abschnittsgr\u00f6\u00dfe zu halbieren und daf\u00fcr doppelt so viele Abschnitte abzurufen, l\u00e4sst die Rechnung gleich und erh\u00f6ht die Genauigkeit; sie zu halbieren, ohne die Anzahl anzufassen, halbiert die Rechnung und riskiert, mit zu wenig Zusammenhang anzukommen. Beides sind Entscheidungen, und beide stehen in derselben Zeile.<\/p>\n Die Abschnittsgrenzen stecken in den Einbettungen. Eine andere Gr\u00f6\u00dfe erzeugt andere Texte, andere Einbettungen und andere Kennungen, eine teilweise Umstellung gibt es also nicht – der Bestand wird neu eingebettet, und anderswo gespeicherte Kennungen zeigen auf Abschnitte, die es nicht mehr gibt.<\/p>\n Das spricht f\u00fcr eine Gewohnheit von Anfang an: Rohdokumente, Schnitt und Einbettung als drei getrennte Schritte zu f\u00fchren und das Zwischenergebnis auf die Platte zu schreiben. Neu einzubetten ist dann ein erneuter Lauf des letzten Schritts auf einem bereits aufbereiteten Bestand statt eines Nachmittags, an dem rekonstruiert wird, wie der Text \u00fcberhaupt hineingekommen ist.<\/p>\n |