{"id":10414,"date":"2026-09-15T18:10:00","date_gmt":"2026-09-15T16:10:00","guid":{"rendered":"https:\/\/www.lukaswojcik.com\/blog\/?p=10414"},"modified":"2026-10-26T13:14:15","modified_gmt":"2026-10-26T12:14:15","slug":"dzielenie-dokumentow-do-wyszukiwania-ai-wplyw-rozmiaru-i-nakladania-sie-fragmentow","status":"publish","type":"post","link":"https:\/\/www.lukaswojcik.com\/blog\/pl\/cloud-ai-pl\/dzielenie-dokumentow-do-wyszukiwania-ai-wplyw-rozmiaru-i-nakladania-sie-fragmentow\/","title":{"rendered":"Dzielenie dokument\u00f3w do wyszukiwania AI: wp\u0142yw rozmiaru i nak\u0142adania si\u0119 fragment\u00f3w"},"content":{"rendered":"

Rozmiar fragment\u00f3w i nak\u0142adka wp\u0142ywaj\u0105 na odnajdywany kontekst, liczb\u0119 przechowywanych osadze\u0144 i ilo\u015b\u0107 tekstu przekazywanego modelowi odpowiedzi. S\u0105 to ustawienia wymagaj\u0105ce sprawdzenia, a nie uniwersalne sta\u0142e. Dobry wyb\u00f3r \u0142\u0105czy jednoznaczn\u0105 metod\u0119 liczenia z reprezentatywnymi pytaniami i znanymi fragmentami \u017ar\u00f3d\u0142owymi.<\/p>\n

System RAG wyszukuje odpowiednie fragmenty \u017ar\u00f3de\u0142 i przekazuje je modelowi j\u0119zykowemu jako podstaw\u0119 odpowiedzi. Chunk to fragment dokumentu. Nak\u0142adka oznacza, \u017ce s\u0105siednie fragmenty powtarzaj\u0105 cz\u0119\u015b\u0107 tego samego tekstu. Osadzenie jest reprezentacj\u0105 liczbow\u0105 u\u017cywan\u0105 do wyszukiwania podobie\u0144stwa; system RAG mo\u017ce tak\u017ce \u0142\u0105czy\u0107 wyszukiwanie wektorowe ze s\u0142owami kluczowymi. Tokeny s\u0105 jednostkami wybranego tokenizera, a nie sta\u0142ymi cz\u0119\u015bciami s\u0142\u00f3w. J\u0119zyk, interpunkcja i model zmieniaj\u0105 wynik liczenia.<\/p>\n

\"Przyk\u0142ad
Przyk\u0142ad sta\u0142ych okien bez dope\u0142nienia: zwi\u0119kszenie nak\u0142adki z 64 do 128 token\u00f3w zmienia liczb\u0119 fragment\u00f3w z 447 na 521. Powt\u00f3rzenia tekstu, pami\u0119\u0107 wektor\u00f3w i rozliczenie modelu pozostaj\u0105 odr\u0119bnymi wielko\u015bciami.<\/figcaption><\/figure>\n

Dok\u0142adne liczby dla prostego podzia\u0142u<\/h2>\n

Poni\u017cszy model u\u017cywa jednego ju\u017c stokenizowanego dokumentu, sta\u0142ych okien i skr\u00f3conego ostatniego fragmentu bez dope\u0142niania. Podzia\u0142 ko\u0144czy si\u0119 po obj\u0119ciu ostatniego tokena. N oznacza d\u0142ugo\u015b\u0107 dokumentu, C rozmiar fragmentu, a O nak\u0142adk\u0119, przy 0 \u2264 O < C. Krok wynosi C \u2212 O. Pusty dokument nie tworzy fragment\u00f3w; dokument nieprzekraczaj\u0105cy C token\u00f3w tworzy jeden.<\/p>\n

krok = C - O\nfragmenty = 1 + ceil(max(0, N - C) \/ krok)   # dla N > 0\n\u0142\u0105czna liczba wyst\u0105pie\u0144 token\u00f3w = N + O * (fragmenty - 1)<\/code><\/pre>\n
Funkcja ceil zaokr\u0105gla w g\u00f3r\u0119 do najbli\u017cszej liczby ca\u0142kowitej.<\/p>\n
Dla N = 200 000 i C = 512 wynik jest nast\u0119puj\u0105cy:<\/p>\n\n\n\n\n\n\n\n
Nak\u0142adka<\/th>\nKrok<\/th>\nFragmenty<\/th>\nWyst\u0105pienia token\u00f3w<\/th>\nDodatkowy tekst<\/th>\n<\/tr>\n<\/thead>\n
64 (12,5%)<\/td>\n448<\/td>\n447<\/td>\n228 544<\/td>\n14,272%<\/td>\n<\/tr>\n
128 (25%)<\/td>\n384<\/td>\n521<\/td>\n266 560<\/td>\n33,280%<\/td>\n<\/tr>\n
256 (50%)<\/td>\n256<\/td>\n781<\/td>\n399 680<\/td>\n99,840%<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n
Mno\u017cenie liczby fragment\u00f3w przez 512 dolicza\u0142oby nieistniej\u0105ce dope\u0142nienie ostatniego fragmentu. Dla d\u0142ugich dokument\u00f3w mno\u017cnik zbli\u017ca si\u0119 do C \/ (C \u2212 O); sko\u0144czone dokumenty zachowuj\u0105 efekty brzegowe. Przy nak\u0142adce 50 procent wn\u0119trze jest w du\u017cej cz\u0119\u015bci powtarzane, ale nie ka\u017cdy token wyst\u0119puje dok\u0142adnie dwukrotnie. Podzia\u0142 wed\u0142ug zda\u0144, ponowna tokenizacja fragment\u00f3w i dodatkowe nag\u0142\u00f3wki mog\u0105 zmieni\u0107 te liczby.<\/p>\n
Powt\u00f3rzenia tekstu to nie rozmiar wektor\u00f3w ani rachunek<\/h2>\n
Tabela liczy tokeny tekstu wraz z powt\u00f3rzeniami. Przy jednym wektorze o sta\u0142ym wymiarze na fragment powstaje 447, 521 lub 781 wektor\u00f3w. Wymiar oznacza liczb\u0119 warto\u015bci w wektorze. Rozmiar w bajtach zale\u017cy od tej liczby i formatu zapisu ka\u017cdej warto\u015bci; indeks wyszukiwania, tekst, metadane i repliki dodaj\u0105 osobny narzut. Czterna\u015bcie procent wi\u0119cej tekstu nie oznacza automatycznie czternastu procent wi\u0119cej ca\u0142ej pami\u0119ci lub koszt\u00f3w.<\/p>\n
Us\u0142ugi embedding\u00f3w mog\u0105 rozlicza\u0107 tokeny, znaki albo inne jednostki; modele lokalne wymagaj\u0105 zasob\u00f3w obliczeniowych. Ponowne importy, zmiany modeli i aktualizacje dokument\u00f3w tak\u017ce oznaczaj\u0105 prac\u0119. Faktyczny rachunek zale\u017cy od dostawcy, modelu, buforowania i przechowywanej reprezentacji. Osadzanie zbioru nie musi by\u0107 ani tanie, ani jednorazowe.<\/p>\n
Nak\u0142adka zachowuje kontekst, ale nie ma uniwersalnego optimum<\/h2>\n
Nak\u0142adka mo\u017ce zachowa\u0107 zwi\u0105zki ponad granicami, na przyk\u0142ad definicj\u0119 z nast\u0119puj\u0105cym po niej wyj\u0105tkiem. Nie gwarantuje jednak, \u017ce ka\u017cde zdanie lub odpowied\u017a zmie\u015bci si\u0119 w ca\u0142o\u015bci. D\u0142ugie tabele, kod, odsy\u0142acze i wyja\u015bnienia obejmuj\u0105ce wiele akapit\u00f3w wymagaj\u0105 odpowiedniej obs\u0142ugi. Dwa zdania nie maj\u0105 sta\u0142ej liczby token\u00f3w.<\/p>\n
Dzielenie na nag\u0142\u00f3wkach i akapitach mo\u017ce poprawi\u0107 sp\u00f3jno\u015b\u0107; zbyt d\u0142ugie sekcje nadal potrzebuj\u0105 ograniczenia rozmiaru. \u015acie\u017cka taka jak Podr\u0119cznik > Rozliczenia > Wypowiedzenie<\/em> mo\u017ce przywr\u00f3ci\u0107 brakuj\u0105cy kontekst. Dodatkowy tekst nadal zajmuje miejsce w wej\u015bciu i prompcie, a korzy\u015b\u0107 wymaga oceny. Podzia\u0142 wed\u0142ug struktury jest sensown\u0105 strategi\u0105, nie dowodem zb\u0119dno\u015bci ka\u017cdej nak\u0142adki.<\/p>\n
Niewielki eksperyment mo\u017ce por\u00f3wna\u0107 kilka rozmiar\u00f3w i nak\u0142adek na tych samych pytaniach, wersjach \u017ar\u00f3de\u0142 i ustawieniach wyszukiwania. Przydatne miary obejmuj\u0105 odnalezienie wymaganych fragment\u00f3w, poprawno\u015b\u0107 odpowiedzi, potwierdzenie cytowanych \u017ar\u00f3de\u0142, op\u00f3\u017anienie i ca\u0142kowity koszt. Ma\u0142e fragmenty mog\u0105 traci\u0107 kontekst; du\u017ce mog\u0105 zawiera\u0107 rozpraszaj\u0105ce tematy. Zakres 400\u2013800 token\u00f3w r\u00f3wnie\u017c podlega tym kompromisom. Osadzenie jest wyuczon\u0105 reprezentacj\u0105, a nie dos\u0142own\u0105 \u015bredni\u0105 arytmetyczn\u0105 temat\u00f3w.<\/p>\n
Bud\u017cet ca\u0142ego z\u0142o\u017conego promptu<\/h2>\n
Osiem pe\u0142nych fragment\u00f3w po 512 token\u00f3w daje 4096 token\u00f3w tekstu \u017ar\u00f3d\u0142owego przy tym samym tokenizerze. Instrukcje, pytanie, historia rozmowy, nag\u0142\u00f3wki i oznaczenia \u017ar\u00f3de\u0142 zwi\u0119kszaj\u0105 t\u0119 liczb\u0119; odpowied\u017a potrzebuje osobnego bud\u017cetu wyj\u015bcia. Po z\u0142o\u017ceniu promptu nale\u017cy uwzgl\u0119dni\u0107 rzeczywisty tokenizer i zasady rozliczania modelu.<\/p>\n
Zmniejszenie rozmiaru o po\u0142ow\u0119 i podwojenie liczby trafie\u0144 zachowuje tylko nominaln\u0105 ilo\u015b\u0107 tekstu \u017ar\u00f3d\u0142owego. Nie gwarantuje lepszego wyszukiwania, tego samego op\u00f3\u017anienia ani niezmienionego rachunku. Wyszukiwanie, osadzenie pytania i ponowne ocenianie trafie\u0144 mog\u0105 mie\u0107 osobne koszty. Fragment wyszukiwany i kontekst generowania tak\u017ce nie musz\u0105 by\u0107 identyczne: wyszukiwanie mo\u017ce odnajdywa\u0107 ma\u0142e fragmenty, a nast\u0119pnie zwraca\u0107 wi\u0119ksz\u0105 otaczaj\u0105c\u0105 sekcj\u0119 (parent-document retrieval).<\/p>\n
S\u0105siednie trafienia mog\u0105 powtarza\u0107 wsp\u00f3lny tekst. \u0141\u0105czenie sprawdzonych zakres\u00f3w \u017ar\u00f3d\u0142a lub usuwanie dok\u0142adnych duplikat\u00f3w oszcz\u0119dza miejsce na kontekst. Wersja \u017ar\u00f3d\u0142a i pozycje w tek\u015bcie musz\u0105 by\u0107 zgodne, aby \u0142\u0105czy\u0107 wy\u0142\u0105cznie fragmenty tej samej wersji dokumentu. Automatyczne odrzucanie ka\u017cdego ni\u017cej ocenionego s\u0105siada mo\u017ce jednak usun\u0105\u0107 jedyny fragment z wyj\u0105tkiem. Regu\u0142y r\u00f3\u017cnorodno\u015bci i deduplikacji potrzebuj\u0105 takich samych kontroli jako\u015bci jak rozmiar fragmentu.<\/p>\n
<\/p>\n
\"Wiolonczela
Wiolonczela le\u017cy w otwartym futerale, a kiesze\u0144 zostaje wolna na smyczek, kalafoni\u0119 i \u015bciereczk\u0119. Tak samo dane wej\u015bciowe dla modelu AI potrzebuj\u0105 poza fragmentami tekstu miejsca na wszystko inne.<\/figcaption><\/figure>\n
Ponowne indeksowanie zmienionych wej\u015b\u0107 z wersjonowaniem<\/h2>\n
Inny podzia\u0142 zmienia wej\u015bcie osadzania dla obj\u0119tych zmian\u0105 fragment\u00f3w. Nie wyklucza to migracji przyrostowej ani nie wymusza r\u00f3wnoczesnego przetwarzania wszystkich dokument\u00f3w. Identyczne wej\u015bcia mog\u0105 ponownie wykorzysta\u0107 zgodne osadzenia; wersjonowany indeks mo\u017cna zbudowa\u0107 i sprawdzi\u0107 przed zast\u0105pieniem aktywnego. Stare odwo\u0142ania potrzebuj\u0105 jawnej polityki zachowania lub przekierowania.<\/p>\n
Przydatne dane to identyfikator i wersja \u017ar\u00f3d\u0142a, pozycje w dokumencie, wersja mechanizmu podzia\u0142u, pe\u0142ne wej\u015bcie osadzenia oraz konfiguracja embedding\u00f3w. Powi\u0105zanie ze \u017ar\u00f3d\u0142em mo\u017ce by\u0107 polem metadanych lub osobnym mapowaniem; nie musi by\u0107 zakodowane w identyfikatorze fragmentu. Sama suma kontrolna tekstu nie wystarcza do ponownego u\u017cycia po zmianie wersji modelu, wymiaru, typu zadania, przetwarzania wst\u0119pnego lub dodanego kontekstu.<\/p>\n
Dokumenty \u017ar\u00f3d\u0142owe, wyodr\u0119bniony tekst, fragmenty i osadzenia powinny pozosta\u0107 rozr\u00f3\u017cnialnymi etapami. Zmiana podzia\u0142u wymaga ponownego uruchomienia podzia\u0142u przed osadzeniem zmienionych wej\u015b\u0107. Zmiana wy\u0142\u0105cznie modelu osadze\u0144 mo\u017ce korzysta\u0107 z przygotowanych fragment\u00f3w, je\u015bli nowe limity i wymagania wej\u015bcia na to pozwalaj\u0105. Usuni\u0119te fragmenty \u017ar\u00f3d\u0142a wymagaj\u0105 tak\u017ce usuni\u0119cia z aktywnego indeksu.<\/p>\n
\n
Pytania i odpowiedzi<\/h2>\n
Czy podzia\u0142 wed\u0142ug struktury zachowuje wszystkie pozosta\u0142e fragmenty?<\/h3>\n
Niekoniecznie. \u0141\u0105czenie sekcji, limity rozmiaru i zmienione \u015bcie\u017cki nag\u0142\u00f3wk\u00f3w mog\u0105 wp\u0142ywa\u0107 na p\u00f3\u017aniejsze fragmenty. Przy sta\u0142ych oknach wstawienie tekstu mo\u017ce przesun\u0105\u0107 wiele dalszych granic, lecz r\u00f3wnie\u017c nie oznacza bezwarunkowej zmiany ka\u017cdego p\u00f3\u017aniejszego wej\u015bcia. Por\u00f3wnanie rzeczywistych pe\u0142nych wej\u015b\u0107 jest pewniejsze ni\u017c za\u0142o\u017cenie stabilno\u015bci na podstawie nazwy mechanizmu.<\/p>\n
Co dzieje si\u0119 ze zbyt d\u0142ugim wej\u015bciem osadzenia?<\/h3>\n
Limit i zachowanie zale\u017c\u0105 od modelu oraz endpointu. Udokumentowany endpoint predykcji Google dla gemini-embedding-001<\/code> obs\u0142uguje autoTruncate<\/code> z domy\u015bln\u0105 warto\u015bci\u0105 true; false powoduje b\u0142\u0105d dla zbyt d\u0142ugiego tekstu. Statystyki odpowiedzi zawieraj\u0105 truncated<\/code> i token_count<\/code>. Nie jest to og\u00f3lna regu\u0142a wszystkich API osadze\u0144. Nag\u0142\u00f3wki i inne osadzane dodatki r\u00f3wnie\u017c zwi\u0119kszaj\u0105 wej\u015bcie.<\/p>\n
Odrzucona ko\u0144c\u00f3wka nie wp\u0142ywa na ten wektor, os\u0142abiaj\u0105c podstaw\u0119 wyszukiwania jej tre\u015bci. Fragment nadal mo\u017ce zosta\u0107 odnaleziony przez zachowany pocz\u0105tek lub inne wyszukiwanie; nie wynika z tego ca\u0142kowita niemo\u017cno\u015b\u0107 odnalezienia. Rejestrowanie skr\u00f3ce\u0144 i sprawdzanie rzeczywistej liczby token\u00f3w modelu zapobiega mylnemu wra\u017ceniu, \u017ce ca\u0142y d\u0142ugi zapisany fragment zosta\u0142 osadzony.<\/p>\n
Czy wystarczy aktualizacja jednego dokumentu?<\/h3>\n
Zwykle obj\u0119te zmian\u0105 \u017ar\u00f3d\u0142o i jego rekordy pochodne mo\u017cna aktualizowa\u0107 niezale\u017cnie, je\u015bli wdro\u017cono \u015bledzenie \u017ar\u00f3de\u0142 i usuwanie starych danych. Niezmienione wej\u015bcia mog\u0105 ponownie wykorzysta\u0107 zgodn\u0105 konfiguracj\u0119 osadze\u0144. Bezpieczna aktualizacja uwzgl\u0119dnia tak\u017ce usuni\u0119te fragmenty i zapobiega mieszaniu niezgodnych wersji indeksu podczas wyszukiwania.<\/p>\n<\/div>\n
\n
\u0179r\u00f3d\u0142a<\/h2>\n