{"id":21293,"date":"2026-10-15T09:43:00","date_gmt":"2026-10-15T07:43:00","guid":{"rendered":"https:\/\/www.lukaswojcik.com\/blog\/?p=21293"},"modified":"2026-10-05T16:50:08","modified_gmt":"2026-10-05T14:50:08","slug":"nvidia-grafikkarten-lokale-llm-de","status":"publish","type":"post","link":"https:\/\/www.lukaswojcik.com\/blog\/de\/cloud-ai-de\/nvidia-grafikkarten-lokale-llm-de\/","title":{"rendered":"NVIDIA f\u00fcr lokale LLMs: RTX 3060, 3090, 5060 Ti, 5090 und professionelle Karten im Vergleich"},"content":{"rendered":"

F\u00fcr lokale LLMs z\u00e4hlt bei einer NVIDIA-Karte zuerst das Modell, das vollst\u00e4ndig in den verf\u00fcgbaren Speicher passen soll. Eine schnellere Karte mit zu wenig VRAM kann eine schlechtere praktische Wahl sein als ein \u00e4lteres Modell mit gr\u00f6\u00dferer Kapazit\u00e4t. Gaming-FPS und AI-TOPS beantworten diese Frage nicht.<\/p>\n

Der Vergleich nennt ausgew\u00e4hlte offizielle Speichervarianten. Die Bewertung folgt Spezifikationen und Betriebsanforderungen, nicht eigenen Geschwindigkeitsmessungen. Kartenpreis, Gesamtger\u00e4t und laufende Kosten bleiben getrennte Gr\u00f6\u00dfen.<\/p>\n

\"Offizielle
Kapazit\u00e4tsvergleich; keine gemessene Geschwindigkeitsrangfolge.<\/figcaption><\/figure>\n

Offizielle Speicherschritte<\/h2>\n\n\n\n\n\n\n\n\n\n\n\n
Karte<\/th>\nAusgew\u00e4hlter Speicher<\/th>\nEinordnung<\/th>\n<\/tr>\n<\/thead>\n
RTX 3060<\/td>\n12 GB<\/td>\nEinstieg; nicht mit 8-GB-Version verwechseln<\/td>\n<\/tr>\n
RTX 5060 Ti<\/td>\n16 GB<\/td>\nNeuere mittlere Speicherklasse<\/td>\n<\/tr>\n
RTX 3090<\/td>\n24 GB<\/td>\n\u00c4ltere gro\u00dfe GeForce, h\u00e4ufig Gebrauchtkandidat<\/td>\n<\/tr>\n
RTX 4090<\/td>\n24 GB<\/td>\nAndere Rechenarchitektur, gleiche Kapazit\u00e4tsklasse<\/td>\n<\/tr>\n
RTX 5090<\/td>\n32 GB<\/td>\nGr\u00f6\u00dfere offizielle GeForce-Kapazit\u00e4t<\/td>\n<\/tr>\n
RTX 6000 Ada<\/td>\n48 GB<\/td>\nProfessionelle Einzelkarte<\/td>\n<\/tr>\n
RTX PRO 6000 Blackwell<\/td>\n96 GB<\/td>\nProfessionelle hohe Speicherkapazit\u00e4t<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

Kapazit\u00e4t vor Geschwindigkeitsversprechen<\/h2>\n

Der Sprung von 12 auf 24 GB kann eine andere Modellklasse erm\u00f6glichen. Der Wechsel von einer RTX 3090 zu einer RTX 4090 vergr\u00f6\u00dfert dagegen den offiziellen Speicher nicht. Ein Modell, das mit Kontext und Puffern mehr als 24 GB braucht, erh\u00e4lt dadurch keine zus\u00e4tzliche Kapazit\u00e4t.<\/p>\n

Eine 32-GB-Karte erweitert das Budget, garantiert aber keinen bestimmten Kontext f\u00fcr jede Architektur. Auch 48 oder 96 GB m\u00fcssen Gewichte, Zust\u00e4nde und Reserven gemeinsam tragen. Die professionelle Klasse kann deshalb bei einem gro\u00dfen Einzelmodell sinnvoller sein als mehrere kleinere Karten.<\/p>\n

Architektur und Runtime bleiben Kaufkriterien<\/h2>\n

CUDA-Unterst\u00fctzung ist nur die erste Ebene. Pr\u00e4zisionen, Quantisierungskernels und Modellarchitekturen haben weitere Voraussetzungen. vLLM dokumentiert eine Mindest-Compute-Capability f\u00fcr NVIDIA-GPUs; einzelne Funktionen k\u00f6nnen trotzdem andere Grenzen besitzen. Eine alte Karte mit viel VRAM ist nicht automatisch mit jeder modernen Konfiguration kompatibel.<\/p>\n

Vor dem Kauf steht deshalb eine konkrete Kombination aus Runtime-Version, Modellrevision und Quantisierung. Ein vorhandener GPU-Treiber oder ein erfolgreiches Gaming-Programm best\u00e4tigt diesen Inferenzpfad nicht. Bei neuer Hardware sind passende Pakete ebenso wichtig wie bei \u00e4lteren Karten.<\/p>\n

Gebrauchtkarte und professionelle Karte richtig vergleichen<\/h2>\n

Eine gebrauchte RTX 3090 kann eine g\u00fcnstige Kapazit\u00e4tsoption sein, sobald Zustand, tats\u00e4chlicher Preis und R\u00fcckgabeweg passen. K\u00fchlung, Speicherpr\u00fcfung und Laststabilit\u00e4t geh\u00f6ren zur Rechnung. Ein niedriger Angebotspreis ohne belastbaren Funktionsnachweis ist keine vollst\u00e4ndige Kaufgrundlage.<\/p>\n

Professionelle Karten unterscheiden sich auch bei Bauform, Speicherfunktionen und Einsatzprofil. Der Aufpreis braucht eine konkrete Begr\u00fcndung: gr\u00f6\u00dfere Einzelmodellkapazit\u00e4t, passende K\u00fchlung oder Anforderungen an den Dauerbetrieb. Das Modell produziert bei identischer Ausf\u00fchrung nicht allein wegen eines professionellen Kartenlabels bessere Antworten.<\/p>\n

Gesamtsystem und Mehrkartenbetrieb<\/h2>\n

Netzteil, Anschl\u00fcsse, Geh\u00e4usefreiheit und W\u00e4rmeabfuhr sind vor einer gro\u00dfen Karte zu pr\u00fcfen. Gemessene Systemleistung an der Steckdose ist f\u00fcr Betriebskosten aussagekr\u00e4ftiger als ein einzelner Nennwert. Leerlaufstunden z\u00e4hlen bei einem dauerhaft eingeschalteten Rechner ebenfalls.<\/p>\n

Zwei 24-GB-GPUs bleiben getrennte Speicherpools. Eine geeignete Runtime kann das Modell verteilen, doch Verteilung und Verbindung beeinflussen den Betrieb. Die einfache Alternative ist eine Einzelkarte mit gen\u00fcgend Reserve. Der Speicherrechner unterst\u00fctzt diese Vorauswahl; nachgewiesene Kompatibilit\u00e4t und Gesamtpreis entscheiden den konkreten Kauf.<\/p>\n

Speicherbedarf f\u00fcr die Modellwahl: LLM-VRAM-Rechner.<\/a><\/p>\n

\n

Passende Werkzeuge<\/h2>\n