{"id":21287,"date":"2026-10-11T15:33:00","date_gmt":"2026-10-11T13:33:00","guid":{"rendered":"https:\/\/www.lukaswojcik.com\/blog\/?p=21287"},"modified":"2026-10-05T16:49:59","modified_gmt":"2026-10-05T14:49:59","slug":"llm-quantisierung-kontext-modellpassung-de","status":"publish","type":"post","link":"https:\/\/www.lukaswojcik.com\/blog\/de\/cloud-ai-de\/llm-quantisierung-kontext-modellpassung-de\/","title":{"rendered":"Q4, Q8, FP16 und langer Kontext: Warum ein lokales LLM trotz passender Dateigr\u00f6\u00dfe scheitert"},"content":{"rendered":"

Eine Modelldatei mit 20 GB passt nicht automatisch auf eine Grafikkarte mit 24 GB. Der Download beschreibt gespeicherte Gewichte und Metadaten. W\u00e4hrend der Ausf\u00fchrung kommen Kontextzustand, tempor\u00e4re Puffer und weitere Belegungen hinzu. Die freie Kapazit\u00e4t ist au\u00dferdem kleiner als der beworbene Gesamtspeicher, sobald andere Anwendungen die GPU verwenden.<\/p>\n

Quantisierung und Kontext geh\u00f6ren deshalb in dieselbe Planung. Der Vergleich erkl\u00e4rt Speichermechanismen und Rechenbeispiele; gemessene Qualit\u00e4ts- oder Geschwindigkeitsrangfolgen werden daraus nicht abgeleitet.<\/p>\n

\"Mehr
1 GiB Cache im angenommenen Beispiel; keine universelle Modellformel.<\/figcaption><\/figure>\n

Q4, Q8 und FP16 beschreiben verschiedene Budgets<\/h2>\n\n\n\n\n\n\n\n
Idealisiertes Beispiel<\/th>\nRechnung f\u00fcr 30 Milliarden Gewichte<\/th>\nReiner Gewichtsspeicher<\/th>\n<\/tr>\n<\/thead>\n
4 Bit<\/td>\n30 Milliarden \u00d7 0,5 Byte<\/td>\n15 GB<\/td>\n<\/tr>\n
8 Bit<\/td>\n30 Milliarden \u00d7 1 Byte<\/td>\n30 GB<\/td>\n<\/tr>\n
16 Bit<\/td>\n30 Milliarden \u00d7 2 Byte<\/td>\n60 GB<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

Diese Zahlen sind theoretische Dezimalwerte, keine Dateigr\u00f6\u00dfen eines bestimmten Modells. Skalen, Bl\u00f6cke, gemischte Pr\u00e4zisionen und nicht quantisierte Bestandteile ver\u00e4ndern das Ergebnis. GB und GiB sind ebenfalls verschieden: 15 Milliarden Byte entsprechen ungef\u00e4hr 13,97 GiB. Eine Q4-Datei besteht nicht zwingend aus exakt vier Bit f\u00fcr jeden Gesamtparameter.<\/p>\n

Kontext kostet w\u00e4hrend der Ausf\u00fchrung<\/h2>\n

Bei klassischer Attention h\u00e4lt der KV-Cache fr\u00fchere Schl\u00fcssel und Werte bereit. F\u00fcr einen vereinfachten dichten Cache lautet die Rechnung: zwei \u00d7 Schichten \u00d7 KV-K\u00f6pfe \u00d7 Kopfbreite \u00d7 Token \u00d7 Byte je Wert \u00d7 Sequenzen. Die Formel gilt nur f\u00fcr die passenden Architektur- und Laufzeitannahmen.<\/p>\n

Ein angenommenes Beispiel mit 32 Schichten, acht KV-K\u00f6pfen, Kopfbreite 128, 8.192 Token und zwei Byte je Wert ben\u00f6tigt 1 GiB f\u00fcr eine Sequenz. Vier vollst\u00e4ndig belegte gleichartige Sequenzen ergeben 4 GiB. Gewichte und Laufzeitpuffer kommen zus\u00e4tzlich hinzu. Paging, Cache-Quantisierung oder andere Attention-Muster \u00e4ndern die praktische Belegung.<\/p>\n

Hybride Architekturen brauchen eigene Profile<\/h2>\n

Qwen3.5 verwendet eine hybride Struktur mit unterschiedlichen Schichttypen. Eine Formel f\u00fcr ausschlie\u00dflich klassische Attention darf daher nicht ungepr\u00fcft auf jede Schicht angewandt werden. Recurrent-Zustand, Attention-Cache und multimodale Bestandteile ben\u00f6tigen passende Daten aus Modellkonfiguration und Runtime.<\/p>\n

Auch MoE trennt aktiven Rechenaufwand vom gesamten Gewichtsspeicher. Eine kleine Zahl aktiver Parameter ist keine Zusage einer kleinen Modelldatei. Speicherplanung anhand des Namens allein scheitert an solchen Unterschieden.<\/p>\n

Auslagerung ver\u00e4ndert das Einsatzprofil<\/h2>\n

llama.cpp unterst\u00fctzt hybride CPU-\/GPU-Ausf\u00fchrung. Ein teilweise ausgelagertes Modell kann dadurch \u00fcberhaupt starten. Das ist jedoch eine andere Konfiguration als vollst\u00e4ndige GPU-Ausf\u00fchrung. Arbeitsspeicher, CPU-Leistung und Datentransfers beeinflussen das Antwortverhalten.<\/p>\n

Der Vergleich sollte GPU-Belegung, System-RAM, First-Token-Zeit und Ausgabegeschwindigkeit gemeinsam erfassen. Ein erfolgreicher Start ist nur die erste Pr\u00fcfung. Lange Dokumente und mehrere gleichzeitige Sitzungen k\u00f6nnen sp\u00e4ter eine Grenze erreichen, die ein kurzer Chat verdeckt.<\/p>\n

Qualit\u00e4t vor Speicheroptimierung pr\u00fcfen<\/h2>\n

Ein gr\u00f6\u00dferes Q4-Modell gewinnt nicht automatisch gegen ein kleineres Q8-Modell. Modelltraining, Architektur und Aufgabe bleiben entscheidend. Derselbe Datensatz mit erwarteten Antworten zeigt Fehler, Auslassungen und Formatprobleme; Dateigr\u00f6\u00dfe allein erkl\u00e4rt die Nutzbarkeit nicht.<\/p>\n

Der vorhandene Speicherrechner liefert eine Vorauswahl. Konkrete Modellrevision und Backend, freie Reserve, Kontext und Parallelit\u00e4t geh\u00f6ren in die Eingaben. Die endg\u00fcltige Konfiguration folgt einer realen Speicherpr\u00fcfung und einem kurzen Qualit\u00e4tstest. Eine unbekannte Architektur erh\u00e4lt eine sichtbare Sch\u00e4tzgrenze statt einer scheinbar exakten Zahl.<\/p>\n

Speicherbedarf f\u00fcr die Modellwahl: LLM-VRAM-Rechner.<\/a><\/p>\n

\n

Passende Werkzeuge<\/h2>\n