{"id":21289,"date":"2026-10-11T21:06:00","date_gmt":"2026-10-11T19:06:00","guid":{"rendered":"https:\/\/www.lukaswojcik.com\/blog\/?p=21289"},"modified":"2026-10-09T22:50:52","modified_gmt":"2026-10-09T20:50:52","slug":"llm-quantisierung-kontext-modellpassung-pl","status":"publish","type":"post","link":"https:\/\/www.lukaswojcik.com\/blog\/pl\/cloud-ai-pl\/llm-quantisierung-kontext-modellpassung-pl\/","title":{"rendered":"Q4, Q8, FP16 i d\u0142ugi kontekst: dlaczego lokalny model LLM nie dzia\u0142a mimo odpowiedniego rozmiaru pliku?"},"content":{"rendered":"

Plik modelu o rozmiarze 20 GB nie musi zmie\u015bci\u0107 si\u0119 na karcie z 24 GB pami\u0119ci. Pobierany plik opisuje zapisane wagi i metadane. Podczas dzia\u0142ania dochodz\u0105 stan kontekstu, bufory tymczasowe i inne alokacje. Dost\u0119pna pojemno\u015b\u0107 jest tak\u017ce ni\u017csza od deklarowanej, gdy GPU obs\u0142uguje pozosta\u0142e aplikacje.<\/p>\n

Kwantyzacja i kontekst wymagaj\u0105 wsp\u00f3lnego planowania. Por\u00f3wnanie wyja\u015bnia mechanizmy pami\u0119ci i obliczenia, bez wyprowadzania zmierzonego rankingu jako\u015bci lub szybko\u015bci.<\/p>\n

\"Wi\u0119cej
1 GiB pami\u0119ci KV w za\u0142o\u017conym przyk\u0142adzie; bez uniwersalnego wzoru.<\/figcaption><\/figure>\n

Q4, Q8 i FP16 oznaczaj\u0105 r\u00f3\u017cne bud\u017cety<\/h2>\n\n\n\n\n\n\n\n
Przyk\u0142ad idealizowany<\/th>\nObliczenie dla 30 miliard\u00f3w wag<\/th>\nSame wagi<\/th>\n<\/tr>\n<\/thead>\n
4 bity<\/td>\n30 miliard\u00f3w \u00d7 0,5 bajta<\/td>\n15 GB<\/td>\n<\/tr>\n
8 bit\u00f3w<\/td>\n30 miliard\u00f3w \u00d7 1 bajt<\/td>\n30 GB<\/td>\n<\/tr>\n
16 bit\u00f3w<\/td>\n30 miliard\u00f3w \u00d7 2 bajty<\/td>\n60 GB<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

To teoretyczne warto\u015bci dziesi\u0119tne, nie rozmiary plik\u00f3w konkretnego modelu. Skale, bloki, mieszana precyzja i elementy bez kwantyzacji zmieniaj\u0105 wynik. GB i GiB tak\u017ce r\u00f3\u017cni\u0105 si\u0119: 15 miliard\u00f3w bajt\u00f3w to oko\u0142o 13,97 GiB. Plik Q4 nie musi zawiera\u0107 dok\u0142adnie czterech bit\u00f3w na ka\u017cdy parametr.<\/p>\n

Kontekst zajmuje pami\u0119\u0107 podczas pracy<\/h2>\n

Przy klasycznym mechanizmie uwagi pami\u0119\u0107 KV przechowuje wcze\u015bniejsze klucze i warto\u015bci. Uproszczony wz\u00f3r dla g\u0119stego bufora KV to: dwa \u00d7 warstwy \u00d7 g\u0142owy KV \u00d7 wymiar g\u0142owy \u00d7 tokeny \u00d7 bajty na warto\u015b\u0107 \u00d7 sekwencje. Wz\u00f3r wymaga w\u0142a\u015bciwych za\u0142o\u017ce\u0144 dotycz\u0105cych architektury i \u015brodowiska.<\/p>\n

Za\u0142o\u017cony przyk\u0142ad z 32 warstwami, o\u015bmioma g\u0142owami KV, wymiarem 128, 8192 tokenami i dwoma bajtami na warto\u015b\u0107 wymaga 1 GiB dla sekwencji. Cztery ca\u0142kowicie zaj\u0119te podobne sekwencje wymagaj\u0105 4 GiB. Wagi i bufory dochodz\u0105 osobno. Stronicowanie, kwantyzacja pami\u0119ci KV i inne wzorce uwagi zmieniaj\u0105 praktyczne alokacje.<\/p>\n

Architektury hybrydowe wymagaj\u0105 w\u0142asnych profili<\/h2>\n

Qwen3.5 wykorzystuje struktur\u0119 hybrydow\u0105 z r\u00f3\u017cnymi typami warstw. Wz\u00f3r dla wy\u0142\u0105cznie klasycznej uwagi nie powinien obejmowa\u0107 automatycznie ka\u017cdej warstwy. Stan rekurencyjny, pami\u0119\u0107 uwagi i elementy multimodalne wymagaj\u0105 danych z konfiguracji modelu oraz \u015brodowiska.<\/p>\n

MoE tak\u017ce rozdziela aktywne obliczenia od wszystkich wag. Ma\u0142a liczba aktywnych parametr\u00f3w nie gwarantuje ma\u0142ego pliku. Planowanie na podstawie samej nazwy pomija takie r\u00f3\u017cnice.<\/p>\n

Przenoszenie danych zmienia profil pracy<\/h2>\n

llama.cpp obs\u0142uguje wykonanie hybrydowe na CPU i GPU. Cz\u0119\u015bciowe przeniesienie wag mo\u017ce umo\u017cliwi\u0107 uruchomienie wi\u0119kszego modelu. To jednak inna konfiguracja ni\u017c pe\u0142na praca na GPU. RAM, wydajno\u015b\u0107 CPU i transfery wp\u0142ywaj\u0105 na odpowiedzi.<\/p>\n

W por\u00f3wnaniu warto zapisa\u0107 zaj\u0119to\u015b\u0107 GPU, RAM, czas do pojawienia si\u0119 pierwszego tokenu i tempo generowania. Poprawny start jest dopiero pierwsz\u0105 kontrol\u0105. D\u0142ugie dokumenty i r\u00f3wnoleg\u0142e sesje mog\u0105 p\u00f3\u017aniej ujawni\u0107 ograniczenie, kt\u00f3rego nie wida\u0107 podczas kr\u00f3tkiego czatu.<\/p>\n

Kontrola jako\u015bci przed oszcz\u0119dzaniem pami\u0119ci<\/h2>\n

Wi\u0119kszy model Q4 nie wygrywa automatycznie jako\u015bci\u0105 z mniejszym Q8. Trening, architektura i zadanie nadal maj\u0105 znaczenie. Wsp\u00f3lny zestaw z oczekiwanymi odpowiedziami ujawnia b\u0142\u0119dy, pomini\u0119cia i problemy formatu; sam rozmiar nie potwierdza u\u017cyteczno\u015bci.<\/p>\n

Istniej\u0105cy kalkulator pami\u0119ci zapewnia wst\u0119pn\u0105 selekcj\u0119. Dane wej\u015bciowe powinny zawiera\u0107 rewizj\u0119, backend, wolny zapas, kontekst i r\u00f3wnoleg\u0142o\u015b\u0107. Ostateczna konfiguracja wymaga kontroli rzeczywistej pami\u0119ci i kr\u00f3tkiego testu jako\u015bci. Nieznana architektura potrzebuje widocznej granicy szacowania zamiast pozornie dok\u0142adnej liczby.<\/p>\n

Planowanie pami\u0119ci przy wyborze modelu: kalkulator VRAM dla LLM.<\/a><\/p>\n

\n

Powi\u0105zane narz\u0119dzia<\/h2>\n