![\"Wykres](\"https:\/\/www.lukaswojcik.com\/blog\/wp-content\/uploads\/diagrams\/chunkgroesse-pruefen-pl.png\")
Pytanie, na kt\u00f3re musi odpowiedzie\u0107 zestaw testowy<\/h2>\n
Wyszukiwanie ma dok\u0142adnie jedno zadanie: wprowadzi\u0107 fragment z odpowiedzi\u0105 do w\u0119\u017cszego wyboru trafiaj\u0105cego do modelu. To, czy model napisze potem dobr\u0105 odpowied\u017a, jest pytaniem osobnym o osobnych przyczynach – a mieszanie obu jest tym, co czyni ocen\u0119 drog\u0105.<\/p>\n
Pomiar da si\u0119 wi\u0119c rozdzieli\u0107. Zestaw pyta\u0144, ka\u017cde ze znanym miejscem odpowiedzi w materiale \u017ar\u00f3d\u0142owym, oraz miara pytaj\u0105ca, jak cz\u0119sto to miejsce pojawia si\u0119 w pierwszych k wynikach. Nic z tego nie wymaga generowania tekstu, a zatem przebieg po dwunastu ustawieniach kosztuje osadzenia i nic wi\u0119cej.<\/p>\n
Miara nazywa si\u0119 trafno\u015bci\u0105 w pierwszych k wynikach. Dla k r\u00f3wnego pi\u0119\u0107: w ilu z trzydziestu pyta\u0144 w\u0142a\u015bciwy fragment znalaz\u0142 si\u0119 w\u015br\u00f3d pierwszych pi\u0119ciu trafie\u0144. Jej uzupe\u0142nieniem jest \u015brednia odwrotno\u015b\u0107 rangi, nagradzaj\u0105ca dodatkowo bycie pierwszym, a nie pi\u0105tym – u\u017cyteczna, gdy trafno\u015b\u0107 przestaje rozdziela\u0107 kandydat\u00f3w.<\/p>\n
Trzydzie\u015bci pyta\u0144 bez pisania trzydziestu pyta\u0144<\/h2>\n
Zestaw testowy potrafi wytworzy\u0107 model j\u0119zykowy i w\u0142a\u015bnie tutaj op\u0142aca si\u0119 ostro\u017cno\u015b\u0107, bo droga najbardziej oczywista daje zestaw niczego niemierz\u0105cy.<\/p>\n
Wytworzenie pytania z chunku, a potem sprawdzanie, czy ten chunk zostanie znaleziony, jest ko\u0142em: pytanie napisano z tego tekstu, dzieli z nim s\u0142ownictwo i odnajdzie go przy niemal ka\u017cdym ustawieniu. Test m\u00f3wi wtedy, \u017ce ka\u017cde ustawienie jest znakomite.<\/p>\n
Wyj\u015bciem jest wytwarzanie z dokumentu i zapisywanie, gdzie odpowied\u017a stoi – a nie w kt\u00f3ry chunk wpad\u0142a. Przypisanie do chunku nast\u0119puje p\u00f3\u017aniej, dla ka\u017cdego ustawienia, w chwili oceny.<\/p>\n
Polecenie dla generatora, na kazdy dokument zrodlowy:\n\n Przeczytaj ponizszy dokument. Napisz osiem pytan, na ktore dokument\n odpowiada. Do kazdego pytania przytocz doslownie zdanie zawierajace\n odpowiedz. Bez pytan wymagajacych wiedzy spoza dokumentu. Zmieniaj\n sformulowania tak, by pytanie nie powtarzalo brzmienia swojego\n zdania zrodlowego.\n\nWynik na kazdy wpis:\n\n { \"frage\": \"\u2026\", \"beleg\": \"doslowne zdanie z dokumentu\",\n \"dokument\": \"handbuch-2026.md\" }<\/code><\/pre>\nNast\u0119puj\u0105 potem dwie czynno\u015bci r\u0119czne i kosztuj\u0105 dwadzie\u015bcia minut. Przejrzenie pyta\u0144 i skasowanie tych, kt\u00f3rych odpowied\u017a naprawd\u0119 nie stoi w przytoczonym zdaniu – kilka takich generator wytwarza. Oraz przepisanie tej garstki, kt\u00f3ra powtarza zdanie \u017ar\u00f3d\u0142owe niemal dos\u0142ownie, bo w\u0142a\u015bnie ona schlebia\u0142aby ka\u017cdemu ustawieniu.<\/p>\n
Trzydzie\u015bci do pi\u0119\u0107dziesi\u0119ciu wpis\u00f3w to zakres u\u017cyteczny. Poni\u017cej mniej wi\u0119cej dwudziestu pi\u0119ciu jedno przechylaj\u0105ce si\u0119 pytanie przesuwa wynik o cztery punkty procentowe, a kolejno\u015b\u0107 staje si\u0119 szumem; powy\u017cej pi\u0119\u0107dziesi\u0119ciu dodatkowa dok\u0142adno\u015b\u0107 nie zmienia ju\u017c tego, kt\u00f3re ustawienie wygrywa.<\/p>\n
Przeprowadzenie przebiegu<\/h2>\n
Ka\u017cde ustawienie oznacza: podzieli\u0107 zbi\u00f3r na nowo, osadzi\u0107 na nowo i przepu\u015bci\u0107 przez to pytania. Sama ocena jest por\u00f3wnaniem podci\u0105gu – w\u0142a\u015bciwym chunkiem jest ten zawieraj\u0105cy zapisane zdanie.<\/p>\n
import itertools, json\n\nGROESSEN = [256, 512, 1024, 2048]\nUEBERLAPPUNG = [0.0, 0.2]\nK = 5\n\ndef treffer(fragen, index, k):\n n = 0\n for f in fragen:\n gefunden = index.suche(f[\"frage\"], k=k)\n if any(f[\"beleg\"] in c.text for c in gefunden):\n n += 1\n return n \/ len(fragen)\n\nfragen = json.load(open(\"testsatz.json\"))\nfor groesse, ueberlappung in itertools.product(GROESSEN, UEBERLAPPUNG):\n stuecke = zerlegen(korpus, groesse, int(groesse * ueberlappung))\n index = einbetten(stuecke)\n print(f\"{groesse:5d} {ueberlappung:.0%} \"\n f\"recall@{K} {treffer(fragen, index, K):.2f} \"\n f\"Stuecke {len(stuecke):5d}\")<\/code><\/pre>\nTrzy szczeg\u00f3\u0142y czyni\u0105 przebieg godnym zaufania. Zapisane zdanie trzeba por\u00f3wnywa\u0107 po tym samym ujednoliceniu, kt\u00f3re stosuje dzielnik – inaczej \u015bci\u0105gni\u0119ty znak ko\u0144ca linii zamienia trafienie w chybienie. Zdanie padaj\u0105ce dok\u0142adnie na granic\u0119 chunku liczy si\u0119 jako znalezione, gdy zawiera je kt\u00f3rykolwiek z dw\u00f3ch chunk\u00f3w – i w\u0142a\u015bnie po to jest nak\u0142adka. A model osadze\u0144 musi pozosta\u0107 ten sam przez ca\u0142y przebieg, bo zamiana zmienia wszystko i por\u00f3wnanie traci znaczenie.<\/p>\n
Koszt warto oszacowa\u0107 wcze\u015bniej, a nie p\u00f3\u017aniej. Osiem ustawie\u0144 na zbiorze dw\u00f3ch milion\u00f3w token\u00f3w daje z nak\u0142adk\u0105 oko\u0142o osiemnastu milion\u00f3w token\u00f3w do osadzenia – od kilku cent\u00f3w do kilku euro zale\u017cnie od modelu, a wi\u0119c na tyle ma\u0142o, \u017ce przebieg wychodzi taniej ni\u017c jedno popo\u0142udnie dyskusji o nim.<\/p>\n
Odczyt krzywej<\/h2>\n
Wynik takiego przebiegu ma niemal zawsze ten sam kszta\u0142t, a kszta\u0142t m\u00f3wi wi\u0119cej ni\u017c pojedyncze liczby.<\/p>\n
\n\n\nRozmiar chunku<\/th>\n bez nak\u0142adki<\/th>\n 20 % nak\u0142adki<\/th>\n Tokeny kontekstu na odpowied\u017a przy k = 5<\/th>\n<\/tr>\n<\/thead>\n \n\n256<\/td>\n 0,71<\/td>\n 0,79<\/td>\n 1 280<\/td>\n<\/tr>\n \n512<\/td>\n 0,84<\/td>\n 0,88<\/td>\n 2 560<\/td>\n<\/tr>\n \n1024<\/td>\n 0,89<\/td>\n 0,90<\/td>\n 5 120<\/td>\n<\/tr>\n \n2048<\/td>\n 0,87<\/td>\n 0,87<\/td>\n 10 240<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\nWynikaj\u0105 z tego trzy odczytania. Krzywa ro\u015bnie stromo, a potem si\u0119 wyp\u0142aszcza, i to za\u0142amanie jest ustawieniem do wzi\u0119cia – tutaj 512, bo 1024 kupuje jeden lub dwa punkty za podw\u00f3jny kontekst w ka\u017cdej pojedynczej odpowiedzi, i to na sta\u0142e.<\/p>\n
Nak\u0142adka zarabia na siebie na ma\u0142ym ko\u0144cu, a na du\u017cym traci znaczenie. Wynika to z jej celu: istnieje po to, by odpowied\u017a przeci\u0119ta granic\u0105 przetrwa\u0142a, a liczba granic zmniejsza si\u0119 o po\u0142ow\u0119 przy ka\u017cdym podwojeniu rozmiaru chunku. Przy 1024 tokenach nak\u0142adka jest g\u0142\u00f3wnie dwudziestoprocentow\u0105 dop\u0142at\u0105 do rachunku za osadzenia.<\/p>\n
A ustawienie najwi\u0119ksze wypada gorzej ni\u017c to poni\u017cej, co za pierwszym razem zaskakuje. Chunk o 2048 tokenach obejmuje kilka temat\u00f3w, jego osadzenie jest wi\u0119c \u015bredni\u0105 po wszystkich i niczego nie trafia ostro. Wi\u0119ksze chunki podnosz\u0105 prawdopodobie\u0144stwo, \u017ce odpowied\u017a le\u017cy gdzie\u015b w w\u0119\u017cszym wyborze, i obni\u017caj\u0105 prawdopodobie\u0144stwo, \u017ce w\u0142a\u015bciwy chunk stoi na przedzie.<\/p>\n
Do tego samego przebiegu nale\u017cy jedno por\u00f3wnanie i zwykle je wygrywa: dzielenie po strukturze zamiast po liczbie. Dzielnik przecinaj\u0105cy na nag\u0142\u00f3wkach i zostawiaj\u0105cy akapity w ca\u0142o\u015bci, z ograniczeniem rozmiaru jako regu\u0142\u0105 awaryjn\u0105, bije przy dokumentach z podzia\u0142em niemal ka\u017cdy sta\u0142y rozmiar – a przebieg pokazuje, o ile. To argument za w\u0142o\u017ceniem popo\u0142udnia w dzielnik zamiast w rozmiar.<\/p>\n
Czego ta miara nie obejmuje<\/h2>\n
Trafno\u015b\u0107 mierzy jedno ogniwo \u0142a\u0144cucha, a trzy rzeczy le\u017c\u0105 poza nim.<\/p>\n
Pierwsz\u0105 jest przesortowuj\u0105cy. Tam, gdzie taki dzia\u0142a, wyszukiwanie pobiera szeroki wyb\u00f3r wst\u0119pny – pi\u0119\u0107dziesi\u0105t, sto – a przesortowuj\u0105cy skraca go do pi\u0119ciu. Liczy si\u0119 wtedy trafno\u015b\u0107 w pierwszych pi\u0119\u0107dziesi\u0119ciu, a ta wygl\u0105da zupe\u0142nie inaczej: jest wysoka niemal wsz\u0119dzie, a rozmiar chunku przestaje przewa\u017ca\u0107. Mierzenie trafno\u015bci w pierwszych pi\u0119ciu w uk\u0142adzie z przesortowaniem odpowiada na pytanie, kt\u00f3rego nikt nie zada\u0142.<\/p>\n
Drug\u0105 jest jako\u015b\u0107 odpowiedzi. Znaleziony chunk zawieraj\u0105cy zdanie z odpowiedzi\u0105, ale nie zdanie je poprzedzaj\u0105ce, nadal mo\u017ce da\u0107 odpowied\u017a b\u0142\u0119dn\u0105, bo modelowi brakuje warunku, na kt\u00f3rym odpowied\u017a si\u0119 opiera\u0142a. W tej mierze jest to niewidoczne, a najta\u0144szym sposobem zauwa\u017cenia jest dwadzie\u015bcia odpowiedzi przeczytanych r\u0119cznie, gdy ustawienie ju\u017c stoi.<\/p>\n
Trzeci\u0105 jest czas. Zbi\u00f3r ro\u015bnie, jego s\u0142ownictwo si\u0119 przesuwa, a zestaw testowy zbudowany dzi\u015b stopniowo przestaje przypomina\u0107 to, o co si\u0119 pyta. Powt\u00f3rzenie przebiegu raz w roku kosztuje godzin\u0119, a po\u017cyteczniejsza cz\u0119\u015b\u0107 tej godziny polega na do\u0142\u0105czeniu pyta\u0144 rzeczywi\u015bcie w mi\u0119dzyczasie zadanych – zestaw testowy z prawdziwych zapyta\u0144 bije wytworzony pod ka\u017cdym wzgl\u0119dem pr\u00f3cz szybko\u015bci powstania.<\/p>\n