{"id":13056,"date":"2026-09-17T12:45:00","date_gmt":"2026-09-17T10:45:00","guid":{"rendered":"https:\/\/www.lukaswojcik.com\/blog\/?p=13056"},"modified":"2026-10-26T12:44:09","modified_gmt":"2026-10-26T11:44:09","slug":"tutorial-chunk-grose-und-uberlappung-gegen-einen-testsatz-prufen","status":"publish","type":"post","link":"https:\/\/www.lukaswojcik.com\/blog\/de\/cloud-ai-de\/tutorials-de-cloud-ai-de\/tutorial-chunk-grose-und-uberlappung-gegen-einen-testsatz-prufen\/","title":{"rendered":"Tutorial: Chunk-Gr\u00f6\u00dfe und \u00dcberlappung gegen einen Testsatz pr\u00fcfen"},"content":{"rendered":"

Ein Chunk ist ein Textabschnitt, der als Einheit f\u00fcr die Suche gespeichert wird. \u00dcberlappung bedeutet, dass benachbarte Chunks einen Teil desselben Quelltexts wiederholen. Die Chunk-Gr\u00f6\u00dfe beeinflusst, wie viel brauchbarer Belegtext und wie viel Nebeninformation beim Antwortmodell ankommen. Eine allgemein beste Gr\u00f6\u00dfe oder \u00dcberlappung gibt es nicht. Ein Vergleich braucht feste Quellen, gepr\u00fcfte Fragen und ein klar definiertes Erfolgskriterium.<\/p>\n

Dieses Tutorial bewertet gefundene Belege ohne anschlie\u00dfende Antworterzeugung. Einbettungsmodelle, Indexaufbau und Suche ben\u00f6tigen trotzdem Rechenleistung und k\u00f6nnen Kosten verursachen. Das Python-Beispiel l\u00e4uft lokal mit k\u00fcnstlichen Trefferlisten. Es ist eine Auswertung, keine vollst\u00e4ndige Einbettungspipeline.<\/p>\n

\"Vier
Vier Stufen der Retrieval-Auswertung<\/figcaption><\/figure>\n

Quellen festhalten und Belege markieren<\/h2>\n

Jede Frage erh\u00e4lt eine ID, ihren Wortlaut, eine eindeutige Dokumentversions-ID und eine gepr\u00fcfte Belegstelle. Der Bereich verwendet Python-Zeichenpositionen: einschlie\u00dflich Start, ausschlie\u00dflich Ende. Das gespeicherte Zitat muss exakt diesem Ausschnitt der festgehaltenen Quelle entsprechen. Byte-, UTF-16- und Tokenpositionen sind andere Koordinatensysteme.<\/p>\n

Die Positionen entstehen nach Textextraktion und Vereinheitlichung, aber vor dem Zerlegen. Jeder Chunk beh\u00e4lt Dokumentversions-ID und Quellbereich. Eine Suche nur nach dem Zitat k\u00f6nnte denselben Satz im falschen Dokument oder an der falschen Stelle akzeptieren. Weitere Textver\u00e4nderungen ben\u00f6tigen eine verl\u00e4ssliche R\u00fcckzuordnung zu diesen Positionen.<\/p>\n

K\u00fcnstlich erzeugte Fragen k\u00f6nnen einen ersten Testsatz erg\u00e4nzen. Auch die Erzeugung aus ganzen Dokumenten beseitigt die N\u00e4he zum Quellwortlaut nicht. Die Gegenlese pr\u00fcft Beantwortbarkeit, Beleg, Umformulierung und Aufgabenabdeckung. Echte Anfragen liefern zus\u00e4tzliche F\u00e4lle; Datenschutz und Qualit\u00e4t der Zuordnung bleiben relevant. Nicht beantwortbare Fragen oder Antworten aus mehreren Dokumenten brauchen eigene Regeln. Das folgende Beispiel behandelt je beantwortbarer Frage genau einen zusammenh\u00e4ngenden Belegbereich.<\/p>\n

Die Kennzahl vor dem Vergleich festlegen<\/h2>\n

Single-span hit@k<\/strong> bezeichnet hier den Anteil der Fragen, deren vollst\u00e4ndiger Beleg in mindestens einem der ersten k Chunks liegt. Union hit@k<\/strong> akzeptiert auch mehrere Treffer derselben Dokumentversion, sofern deren Bereiche den Beleg l\u00fcckenlos abdecken. Die zweite Kennzahl erkennt verteilte Belege, beweist aber keine richtige Rekonstruktion durch das Antwortmodell.<\/p>\n

Single-span MRR@k<\/strong> mittelt den Kehrwert des Rangs des ersten Chunks mit vollst\u00e4ndigem Beleg. Ein Fehltreffer z\u00e4hlt als null. Ein vollst\u00e4ndiger Treffer auf Rang 1 tr\u00e4gt 1 bei, auf Rang 2 den Wert 0,5 und auf Rang 4 den Wert 0,25. Das sind ausdr\u00fccklich definierte Kennzahlen f\u00fcr dieses Belegschema. Recall beschreibt allgemein den Anteil aller relevanten Einheiten, der gefunden wurde. Ein Treffer auf eine relevante Einheit ist nicht gleichbedeutend mit dem Abruf mehrerer ben\u00f6tigter Belegstellen.<\/p>\n

Drei\u00dfig oder f\u00fcnfzig Fragen k\u00f6nnen f\u00fcr einen ersten Versuch dienen, sind aber keine allgemein ausreichende Stichprobe. Ein ge\u00e4ndertes Ergebnis entspricht bei 30 Fragen 3,33 Prozentpunkten, bei 50 Fragen 2 Punkten. Kleine Unterschiede brauchen mehr Belege, Vergleiche je Frage und eine passende Unsicherheitsanalyse. Ein zur\u00fcckgehaltener Testsatz trennt wiederholtes Abstimmen von unabh\u00e4ngiger Pr\u00fcfung.<\/p>\n

Eine kleine ausf\u00fchrbare Auswertung<\/h2>\n

Die Datei ben\u00f6tigt nur die Python-Standardbibliothek und l\u00e4uft mit python3 evaluate.py<\/code>. Treffer stehen in der Reihenfolge der Suche. Eine leere Liste bedeutet eine abgeschlossene Suche ohne Treffer; eine fehlende Liste ist ein Fehler. Doppelte Bereiche, ung\u00fcltige Positionen und nicht passende Belegzitate werden abgelehnt.<\/p>\n

def evaluate(questions, rankings, corpus, k=5):\n    # corpus keys identify immutable document versions.\n    if type(k) is not int or k < 1 or not questions:\n        raise ValueError("positive k and nonempty questions required")\n    def valid_span(s):\n        doc, start, end = s\n        if (doc not in corpus or type(start) is not int\n                or type(end) is not int\n                or not 0 <= start < end <= len(corpus[doc])):\n            raise ValueError("invalid source span")\n        return doc, start, end\n    hits, union_hits, reciprocal = 0, 0, 0.0\n    seen = set()\n    for q in questions:\n        if q["id"] in seen:\n            raise ValueError("duplicate question id")\n        seen.add(q["id"])\n        doc, start, end = valid_span(q["evidence"])\n        if q["quote"] != corpus[doc][start:end]:\n            raise ValueError("quote does not match the source span")\n        # A missing result is not silently treated as an empty ranking.\n        rows = rankings[q["id"]]\n        if len({tuple(c) for c in rows}) != len(rows):\n            raise ValueError("duplicate retrieved span")\n        rows = [valid_span(c) for c in rows]\n        top = rows[:k]\n        rank = next((n for n, (d, a, b) in enumerate(top, 1)\n                     if d == doc and a <= start and b >= end), None)\n        if rank is not None:\n            hits += 1\n            reciprocal += 1 \/ rank\n        # Union coverage: adjacent intervals may cover a split sentence.\n        cursor = start\n        spans = sorted((max(a, start), min(b, end)) for d, a, b in top\n                       if d == doc and a < end and b > start)\n        for a, b in spans:\n            if a > cursor:\n                break\n            cursor = max(cursor, b)\n        union_hits += cursor >= end\n    n = len(questions)\n    return {"single_hit_at_k": hits \/ n,\n            "union_hit_at_k": union_hits \/ n,\n            "single_mrr_at_k": reciprocal \/ n}\n\nif __name__ == "__main__":\n    corpus = {"manual-v1": "AA BBBB CC", "other-v1": "AA BBBB CC"}\n    questions = [{"id": "q1", "evidence": ["manual-v1", 3, 7],\n                  "quote": "BBBB"}]\n    rankings = {"q1": [("other-v1", 0, 10),\n                       ("manual-v1", 0, 5),\n                       ("manual-v1", 5, 10)]}\n    print(evaluate(questions, rankings, corpus, k=3))\n    # single_hit_at_k: 0.0, union_hit_at_k: 1.0, single_mrr_at_k: 0.0\n<\/code><\/pre>\n
Das k\u00fcnstliche Beispiel ergibt Single-span hit 0, Union hit 1 und Single-span MRR 0. Der erste Treffer enth\u00e4lt denselben Text in einem anderen Dokument und z\u00e4hlt nicht. Die n\u00e4chsten beiden Treffer decken den richtigen Bereich gemeinsam ab. Diese Werte pr\u00fcfen die Auswertung, nicht die Qualit\u00e4t eines Einbettungsmodells.<\/p>\n
Die Auswertung an die echte Suche anschlie\u00dfen<\/h2>\n
F\u00fcr jede Einstellung zerlegt die Pipeline denselben festgehaltenen Bestand, bettet die Chunks ein, baut einen getrennten Index auf und liefert zu jeder Frage geordnete Quellbereiche. Der Adapter muss jeden gefundenen Chunk auf den urspr\u00fcnglichen Bereich zur\u00fcckf\u00fchren. Tokenizer, Zerleger, Einbettungsclient und Suchindex sind im Beispiel nicht enthalten.<\/p>\n
Vier m\u00f6gliche Gr\u00f6\u00dfen wie 256, 512, 1024 und 2048 Token mit jeweils null oder 20 % \u00dcberlappung ergeben acht Einstellungen. Die Gr\u00f6\u00dfen m\u00fcssen zum gew\u00e4hlten Einbettungsmodell und Tokenizer passen. Stilles Abschneiden kann dazu f\u00fchren, dass der Vektor weniger Text repr\u00e4sentiert als der gespeicherte Chunk. Falls unterst\u00fctzt, wird das Abschneiden deaktiviert; andernfalls muss ein solcher Fall erkannt und als fehlgeschlagene Einstellung behandelt werden.<\/p>\n
Modellversion, Einstellungen f\u00fcr Frage und Dokument, Textextraktion, \u00c4hnlichkeitsfunktion, Filter und Suchparameter bleiben gleich. Frageeinbettungen lassen sich bei vollst\u00e4ndig identischen Eingaben und Modelleinstellungen wiederverwenden. F\u00fcr Dokumenteinbettungen gilt dasselbe. Ein Modellwechsel verlangt einen neuen Vergleich.<\/p>\n
Qualit\u00e4t, Kontext und Kosten vergleichen<\/h2>\n
Bei festem k k\u00f6nnen gr\u00f6\u00dfere Chunks mehr Text liefern. Das Produkt k \u00d7 Chunk-Gr\u00f6\u00dfe<\/code> ist nur eine nominelle Obergrenze f\u00fcr vollst\u00e4ndig gef\u00fcllte Chunks. Kurze Endst\u00fccke, Zusatztexte, das Entfernen von Doppelungen und K\u00fcrzungen ver\u00e4ndern die tats\u00e4chliche Promptl\u00e4nge. Ein Vergleich mit festem Budget z\u00e4hlt den fertig zusammengesetzten Kontext mit dem Tokenizer des Antwortmodells und verwendet f\u00fcr alle Einstellungen dieselbe Packregel.<\/p>\n
Bei langen Texten mit festen Fenstern n\u00e4hert sich der Tokenfaktor bei \u00dcberlappungsanteil r dem Wert 1 \/ (1 - r)<\/code>. Bei r = 0,20 ergibt das 1,25: ungef\u00e4hr 25 % zus\u00e4tzliche Token, nicht 20 %. Vier Durchl\u00e4ufe ohne und vier mit 20 % \u00dcberlappung \u00fcber zwei Millionen Token ergeben deshalb n\u00e4herungsweise 18 Millionen Dokumenttoken f\u00fcr die Einbettung. Dokumentgrenzen und Rundungen ver\u00e4ndern den genauen Wert. Frageeinbettungen, Index, Speicherung und Pr\u00fcfaufwand kommen hinzu.<\/p>\n
Eine n\u00fctzliche Ergebnistabelle enth\u00e4lt Einstellung, Fragenzahl, beide Trefferquoten, MRR, tats\u00e4chliche Kontexttoken, eingebettete Token, Indexgr\u00f6\u00dfe und Laufzeit. Hier liegt keine gemessene Qualit\u00e4tskurve vor. Eine Empfehlung f\u00fcr 512 Token l\u00e4sst sich ohne zuordenbaren Bestand, Belege und Laufprotokoll nicht begr\u00fcnden. Strukturorientiertes Zerlegen ist ein weiterer Kandidat, kein automatischer Sieger.<\/p>\n
Die vollst\u00e4ndige Antwortkette gesondert pr\u00fcfen<\/h2>\n
Bei einer Nachsortierung z\u00e4hlt die Belegabdeckung sowohl in der Vorauswahl als auch nach Nachsortierung und Zusammenstellen des Kontexts. Ein hoher Wert der ersten Stufe garantiert nicht, dass die letzten f\u00fcnf Chunks den Beleg behalten. Zus\u00e4tzlich braucht die fertige Antwort Pr\u00fcfungen auf richtige Bedingungen, Quellenangaben und unbelegte Aussagen.<\/p>\n
Eine erneute Bewertung folgt wesentlichen \u00c4nderungen an Quellen, Fragen, Modellen oder Verarbeitung. Weder ein Jahrestermin noch eine feste Pr\u00fcfdauer garantiert ausreichende Abdeckung. Versionierte Fragen und Ergebnisse je Anfrage erleichtern die Suche nach Verschlechterungen.<\/p>\n
Quellen<\/h2>\n