{"id":10412,"date":"2026-09-15T12:30:00","date_gmt":"2026-09-15T10:30:00","guid":{"rendered":"https:\/\/www.lukaswojcik.com\/blog\/?p=10412"},"modified":"2026-10-26T13:14:15","modified_gmt":"2026-10-26T12:14:15","slug":"dokumente-fur-die-ki-suche-aufteilen-wie-abschnittsgrose-und-uberlappung-wirken","status":"publish","type":"post","link":"https:\/\/www.lukaswojcik.com\/blog\/de\/cloud-ai-de\/dokumente-fur-die-ki-suche-aufteilen-wie-abschnittsgrose-und-uberlappung-wirken\/","title":{"rendered":"Dokumente f\u00fcr die KI-Suche aufteilen: Wie Abschnittsgr\u00f6\u00dfe und \u00dcberlappung wirken"},"content":{"rendered":"

Abschnittsgr\u00f6\u00dfe und \u00dcberlappung beeinflussen den auffindbaren Zusammenhang, die Zahl gespeicherter Einbettungen und die Textmenge f\u00fcr das antwortende Modell. Diese Einstellungen sind pr\u00fcfbare Entscheidungen, keine allgemeing\u00fcltigen Konstanten. Eine sinnvolle Wahl verbindet eine eindeutige Z\u00e4hlweise mit repr\u00e4sentativen Fragen und bekannten Belegstellen.<\/p>\n

Ein RAG-System sucht passende Quellenstellen und gibt diese als Grundlage f\u00fcr eine Antwort an ein Sprachmodell weiter. Ein Chunk ist ein Dokumentabschnitt. \u00dcberlappung bedeutet, dass benachbarte Abschnitte einen Teil desselben Textes wiederholen. Eine Einbettung bildet Text numerisch f\u00fcr die \u00c4hnlichkeitssuche ab; ein RAG-System kann Vektorsuche zus\u00e4tzlich mit Stichwortsuche verbinden. Token sind Einheiten des gew\u00e4hlten Tokenizers und keine festen Wortanteile. Sprache, Satzzeichen und Modell ver\u00e4ndern die Anzahl.<\/p>\n

\"Beispiel
Beispiel mit festen Fenstern ohne Auff\u00fcllung: 64 statt 128 Token \u00dcberlappung ergeben 447 statt 521 Abschnitte. Textwiederholung, Vektorspeicher und Modellabrechnung bleiben getrennte Gr\u00f6\u00dfen.<\/figcaption><\/figure>\n

Exakte Zahlen f\u00fcr einen einfachen Zerleger<\/h2>\n

Das folgende Modell verwendet ein bereits tokenisiertes Dokument, feste Fenster und einen verk\u00fcrzten letzten Abschnitt ohne Auff\u00fcllung. Sobald das letzte Token abgedeckt ist, endet die Zerlegung. N bezeichnet die Dokumentl\u00e4nge, C die Abschnittsgr\u00f6\u00dfe und O die \u00dcberlappung mit 0 \u2264 O < C. Die Schrittweite betr\u00e4gt C \u2212 O. Ein leeres Dokument erzeugt keinen Abschnitt; bis einschlie\u00dflich C Token entsteht ein Abschnitt.<\/p>\n

Schrittweite = C - O\nAbschnitte = 1 + ceil(max(0, N - C) \/ Schrittweite)   # f\u00fcr N > 0\nTokenvorkommen insgesamt = N + O * (Abschnitte - 1)<\/code><\/pre>\n
Die Funktion ceil rundet zur n\u00e4chsten ganzen Zahl auf.<\/p>\n
F\u00fcr N = 200.000 und C = 512 ergibt sich:<\/p>\n\n\n\n\n\n\n\n
\u00dcberlappung<\/th>\nSchrittweite<\/th>\nAbschnitte<\/th>\nTokenvorkommen<\/th>\nZus\u00e4tzlicher Text<\/th>\n<\/tr>\n<\/thead>\n
64 (12,5%)<\/td>\n448<\/td>\n447<\/td>\n228.544<\/td>\n14,272%<\/td>\n<\/tr>\n
128 (25%)<\/td>\n384<\/td>\n521<\/td>\n266.560<\/td>\n33,280%<\/td>\n<\/tr>\n
256 (50%)<\/td>\n256<\/td>\n781<\/td>\n399.680<\/td>\n99,840%<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n
Abschnittszahl mal 512 w\u00fcrde eine nicht vorhandene Auff\u00fcllung des letzten Abschnitts mitz\u00e4hlen. Bei langen Dokumenten n\u00e4hert sich die Vervielfachung C \/ (C \u2212 O); endliche Dokumente behalten Randeffekte. Bei 50 Prozent \u00dcberlappung werden innere Bereiche \u00fcberwiegend wiederholt, aber nicht s\u00e4mtliche Token exakt zweimal. Satzorientierte Schnitte, erneute Tokenisierung je Abschnitt und zus\u00e4tzliche \u00dcberschriften k\u00f6nnen die Zahlen ver\u00e4ndern.<\/p>\n
Textwiederholung ist weder Vektorspeicher noch Rechnung<\/h2>\n
Die Tabelle z\u00e4hlt Texttoken einschlie\u00dflich Wiederholungen. Bei einem Vektor fester Dimension je Abschnitt entstehen 447, 521 oder 781 Vektoren. Die Dimension bezeichnet die Anzahl der Zahlen eines Vektors. Der Speicherbedarf h\u00e4ngt von dieser Anzahl und dem Speicherformat jeder Zahl ab; Suchindex, abgelegter Text, Metadaten und Replikate ben\u00f6tigen zus\u00e4tzlichen Speicher. Vierzehn Prozent mehr Text bedeuten nicht automatisch vierzehn Prozent mehr Gesamtspeicher oder Kosten.<\/p>\n
Embedding-Dienste k\u00f6nnen nach Token, Zeichen oder anderen Einheiten abrechnen; selbst betriebene Modelle ben\u00f6tigen Rechenleistung. Wiederholter Import, Modellwechsel und Dokumentaktualisierungen erzeugen weiteren Aufwand. Anbieter, Modell, Zwischenspeicherung und Datenrepr\u00e4sentation bestimmen die tats\u00e4chliche Rechnung. Einbettung ist weder zwangsl\u00e4ufig billig noch eine ausschlie\u00dflich einmalige Arbeit.<\/p>\n
\u00dcberlappung erh\u00e4lt Zusammenhang, besitzt aber kein allgemeines Optimum<\/h2>\n
\u00dcberlappung kann Beziehungen \u00fcber Abschnittsgrenzen erhalten, etwa eine Definition mit anschlie\u00dfender Ausnahme. Eine Garantie f\u00fcr vollst\u00e4ndige S\u00e4tze oder Antworten entsteht dadurch nicht. Lange Tabellen, Code, Verweise und Erkl\u00e4rungen \u00fcber mehrere Abs\u00e4tze ben\u00f6tigen passende Behandlung. Zwei S\u00e4tze besitzen keine feste Tokenzahl.<\/p>\n
Schnitte an \u00dcberschriften und Abs\u00e4tzen k\u00f6nnen den Zusammenhang verbessern; \u00fcbergro\u00dfe Abschnitte ben\u00f6tigen anschlie\u00dfend eine Gr\u00f6\u00dfenbegrenzung. Ein Pfad wie Handbuch > Abrechnung > K\u00fcndigung<\/em> kann fehlenden Kontext erg\u00e4nzen. Der Zusatz belegt weiterhin Eingabe- und Promptraum, und der Nutzen ben\u00f6tigt eine Pr\u00fcfung. Strukturorientiertes Zerlegen ist ein sinnvoller Ansatz, kein Beweis f\u00fcr grunds\u00e4tzlich \u00fcberfl\u00fcssige \u00dcberlappung.<\/p>\n
Ein \u00fcberschaubarer Vergleich pr\u00fcft mehrere Gr\u00f6\u00dfen und \u00dcberlappungen mit denselben Fragen, Quellversionen und Abrufeinstellungen. Aussagekr\u00e4ftig sind gefundene notwendige Belegstellen, Antwortkorrektheit, belegte Quellenangaben, Latenz und Gesamtkosten. Kleine Abschnitte k\u00f6nnen Zusammenhang verlieren; gro\u00dfe Abschnitte k\u00f6nnen ablenkende Themen enthalten. Auch 400 bis 800 Token sind von diesen Zielkonflikten nicht ausgenommen. Eine Einbettung wird gelernt und ist kein w\u00f6rtlicher arithmetischer Mittelwert ihrer Themen.<\/p>\n
Platz f\u00fcr die gesamte Modelleingabe einplanen<\/h2>\n
Acht vollst\u00e4ndige Abschnitte mit jeweils 512 Token ergeben unter derselben Tokenizer-Annahme 4096 Token Quelltext. Anweisungen, Frage, Gespr\u00e4chsverlauf, \u00dcberschriften und Quellenangaben kommen hinzu; die Antwort ben\u00f6tigt ein eigenes Ausgabebudget. Ma\u00dfgeblich sind der tats\u00e4chliche Prompt-Tokenizer und die Modellabrechnung nach dem Zusammensetzen.<\/p>\n
Halbe Abschnittsgr\u00f6\u00dfe und doppelte Trefferzahl erhalten lediglich diese nominelle Quelltextmenge. Bessere Treffer, gleiche Latenz oder eine identische Rechnung sind damit nicht garantiert. Suche, Frageeinbettung und Nachbewertung k\u00f6nnen gesonderte Kosten verursachen. Suchabschnitt und Generierungskontext m\u00fcssen auch nicht identisch sein: Ein Parent-Document-Retriever kann kleine Fragmente suchen und einen gr\u00f6\u00dferen umgebenden Abschnitt zur\u00fcckgeben.<\/p>\n
Benachbarte Treffer k\u00f6nnen \u00fcberlappenden Text wiederholen. Das Zusammenf\u00fchren gepr\u00fcfter Quellbereiche oder Entfernen exakter Dubletten kann Kontextraum sparen. Quellversion und Textpositionen m\u00fcssen \u00fcbereinstimmen, damit nur Passagen derselben Dokumentfassung zusammengef\u00fchrt werden. Das automatische Verwerfen jedes schlechter bewerteten Nachbarn k\u00f6nnte allerdings gerade die einzige Ausnahme entfernen. Regeln f\u00fcr Vielfalt und Entdopplung ben\u00f6tigen deshalb dieselben Qualit\u00e4tspr\u00fcfungen wie die Abschnittsgr\u00f6\u00dfe.<\/p>\n
<\/p>\n
\"Im
Im offenen Cellokoffer liegt das Cello, und ein Fach bleibt frei f\u00fcr Bogen, Kolophonium und Tuch. Genauso braucht die Eingabe an ein KI-Modell neben den Textabschnitten noch Platz f\u00fcr alles andere.<\/figcaption><\/figure>\n
Ge\u00e4nderte Eingaben mit nachvollziehbaren Versionen neu indexieren<\/h2>\n
Eine andere Zerlegung ver\u00e4ndert die Einbettungseingabe betroffener Abschnitte. Daraus folgt weder die Unm\u00f6glichkeit einer schrittweisen Umstellung noch die Pflicht, s\u00e4mtliche Dokumente gleichzeitig zu verarbeiten. Exakt unver\u00e4nderte Eingaben k\u00f6nnen kompatible Einbettungen wiederverwenden. Ein versionierter Index l\u00e4sst sich vor dem Austausch der aktiven Fassung aufbauen und pr\u00fcfen. Alte Verweise ben\u00f6tigen eine ausdr\u00fcckliche Aufbewahrungs- oder Weiterleitungsregel.<\/p>\n
Sinnvolle Angaben sind Quellkennung und Version, Positionen im Quelldokument, Zerlegerversion, vollst\u00e4ndige Einbettungseingabe und Embedding-Konfiguration. Die Quellzuordnung kann als Metadatum oder Zuordnungstabelle vorliegen und muss nicht in der Abschnittskennung stecken. Eine Textpr\u00fcfsumme allein reicht bei ge\u00e4nderter Modellversion, Dimension, Aufgabenart, Vorverarbeitung oder vorangestelltem Kontext nicht zur Wiederverwendung.<\/p>\n
Rohdokumente, extrahierter Text, Abschnitte und Einbettungen sollten unterscheidbare Verarbeitungsschritte bleiben. Eine ge\u00e4nderte Abschnittsbildung erfordert zuerst erneutes Zerlegen, dann Einbetten ge\u00e4nderter Eingaben. Bei ausschlie\u00dflich ge\u00e4ndertem Embedding-Modell k\u00f6nnen vorbereitete Abschnitte weiterverwendet werden, sofern neue Grenzen und Eingabeanforderungen passen. Gel\u00f6schte Quellpassagen m\u00fcssen auch aus dem aktiven Index verschwinden.<\/p>\n
\n
Fragen und Antworten<\/h2>\n
Bleiben bei strukturierten Schnitten alle \u00fcbrigen Abschnitte unver\u00e4ndert?<\/h3>\n
Nicht unbedingt. Zusammenfassung von Teilabschnitten, Gr\u00f6\u00dfenlimits und ge\u00e4nderte \u00dcberschriftenpfade k\u00f6nnen sp\u00e4tere Abschnitte beeinflussen. Bei festen Fenstern kann eine Einf\u00fcgung viele sp\u00e4tere Grenzen verschieben; auch daraus folgt keine ausnahmslose \u00c4nderung jeder sp\u00e4teren Eingabe. Ein Vergleich vollst\u00e4ndiger Eingaben ist verl\u00e4sslicher als eine Stabilit\u00e4tsannahme allein anhand des Zerlegernamens.<\/p>\n
Was passiert bei einer zu langen Einbettungseingabe?<\/h3>\n
Modell und Endpunkt bestimmen Grenze und Verhalten. Googles dokumentierter Prediction-Endpunkt f\u00fcr gemini-embedding-001<\/code> unterst\u00fctzt autoTruncate<\/code> mit dem Standardwert true; false l\u00e4sst zu lange Texte scheitern. Die Antwortstatistik enth\u00e4lt truncated<\/code> und token_count<\/code>. Das gilt nicht pauschal f\u00fcr s\u00e4mtliche Embedding-APIs. \u00dcberschriften und andere eingebettete Zus\u00e4tze z\u00e4hlen ebenfalls mit.<\/p>\n
Ein abgeschnittener Schluss tr\u00e4gt nicht zu diesem Vektor bei; die Suchgrundlage f\u00fcr dessen Inhalt wird dadurch schw\u00e4cher. Der Abschnitt kann trotzdem \u00fcber den verbliebenen Anfang oder ein anderes Suchverfahren gefunden werden. Absolute Unauffindbarkeit folgt daraus nicht. Protokollierte K\u00fcrzungen und tats\u00e4chliche Modell-Tokenzahlen verhindern den falschen Eindruck, ein langer gespeicherter Abschnitt sei vollst\u00e4ndig eingebettet worden.<\/p>\n
Gen\u00fcgt die Aktualisierung eines einzelnen Dokuments?<\/h3>\n
Gew\u00f6hnlich lassen sich die betroffene Quelle und ihre abgeleiteten Datens\u00e4tze unabh\u00e4ngig aktualisieren, sofern Quellzuordnung und Bereinigung umgesetzt sind. Unver\u00e4nderte Eingaben k\u00f6nnen mit kompatibler Embedding-Konfiguration wiederverwendet werden. Eine zuverl\u00e4ssige Aktualisierung behandelt au\u00dferdem entfernte Abschnitte und verhindert die Vermischung inkompatibler Indexversionen beim Abruf.<\/p>\n<\/div>\n
\n
Quellen<\/h2>\n