NVIDIA für lokale LLMs: RTX 3060, 3090, 5060 Ti, 5090 und professionelle Karten im Vergleich

Für ein lokales Sprachmodell zählt zunächst, wie viel Grafikspeicher tatsächlich frei ist. VRAM ist der Speicher auf der Grafikkarte. Darin müssen nicht nur die Modellgewichte, also die erlernten Zahlen, sondern auch Textzustand und Rechenpuffer Platz finden, wenn die Aufgabe vollständig auf einer Karte laufen soll. Eine schnelle Karte mit zu wenig Speicher kann deshalb schlechter passen als eine ältere größere Karte. Bilder pro Sekunde in Spielen und theoretische AI-TOPS, also Billionen Rechenoperationen pro Sekunde, sagen weder die nutzbare Modellgröße noch die Antwortgeschwindigkeit zuverlässig voraus.

Die Tabelle nennt ausgewählte unveränderte Desktopkarten und offizielle Speichervarianten, keine Notebookvarianten oder Speicherumbauten. Es liegen keine eigenen Geschwindigkeitsmessungen vor. Der Vergleich trennt Kartenpreis, Kosten des übrigen Rechners und Stromverbrauch. Aktuelle Angebote müssen separat verglichen werden.

Offizielle Speicherschritte

Kapazität vor Geschwindigkeitsversprechen

Der Wechsel von 12 auf 24 GB kann ein größeres Modell oder längere Eingaben ermöglichen. Eine RTX 3090 und eine RTX 4090 haben dagegen beide 24 GB. Unter denselben Speicherannahmen schafft der Wechsel keine größere Kapazität. Unterschiedliche Software oder Zahlenformate können den Bedarf ändern; das wäre ein zusätzlicher Konfigurationswechsel und kein Speichergewinn der Karte.

32, 48 oder 96 GB schaffen mehr Platz, aber keinen garantierten Umfang für jedes Modell. Lange Dokumente, erzeugte Antworten und gleichzeitige Anfragen benötigen ebenfalls Speicher. Eine Einzelkarte mit viel Speicher kann die Aufteilung auf mehrere Karten vermeiden. Ob der Aufpreis sinnvoll ist, hängt davon ab, welches Modell mit welcher Aufgabe tatsächlich gebraucht wird.

Architektur und Runtime bleiben Kaufkriterien

CUDA ist NVIDIAs Plattform für Berechnungen auf der GPU. Eine CUDA-fähige Karte unterstützt trotzdem nicht jede Modellsoftware oder jedes Zahlenformat. Compute Capability bezeichnet eine technische Funktionsstufe der GPU, keine gemessene Geschwindigkeit. Die aktuelle vLLM-Installationsdokumentation verlangt für NVIDIA mindestens Stufe 7.5; einzelne Rechenverfahren können strengere Anforderungen haben. Ein Kernel ist dabei eine Rechenroutine auf der GPU. Eine Quantisierung speichert Modellzahlen mit weniger Bits und benötigt passende Routinen.

Vor dem Kauf steht deshalb eine genaue Kombination: Grafikkartenmodell, Treiber, Betriebssystem, Ausführungsprogramm samt Version, Modellrevision und Zahlenformat. Ein funktionierendes Spiel bestätigt diese Kombination nicht. Ein nützlicher Nachweis ist ein erfolgreicher Test des geplanten Modells mit der vorgesehenen Eingabelänge. Dabei zählen auch Antwortfehler und Wartezeit. Neue Hardware braucht passende Software ebenso wie ältere Karten.

Gebrauchtkarte und professionelle Karte richtig vergleichen

Eine gebrauchte RTX 3090 bietet 24 GB. Ob das Angebot günstig ist, hängt vom aktuellen Gesamtpreis und vom Zustand ab. Ein Funktionstest sollte Speicherfehler, Abstürze, auffällige Temperaturen und Geräusche unter längerer Last prüfen. Ein kurzer Start allein zeigt diese Probleme nicht zuverlässig. Ein bestandener Test ist auch keine Garantie für die restliche Lebensdauer. Rückgabe- und Garantiebedingungen gehören deshalb zum Vergleich.

Professionelle Karten können mehr Speicher und besondere Funktionen bieten. Beispielsweise nennt NVIDIA für RTX 6000 Ada und RTX PRO 6000 Blackwell Workstation Edition Speicher mit ECC, einer Technik zum Erkennen und Korrigieren bestimmter Speicherfehler. Das ersetzt keinen Funktionstest und garantiert keine bessere Textantwort. Zusätzlicher Speicher kann ein anderes Modell oder Zahlenformat ermöglichen. Bei gleichem Modell und gleichen Einstellungen entsteht durch das professionelle Label allein kein Qualitätsvorteil.

Gesamtsystem und Mehrkartenbetrieb

Für die konkrete Karte müssen Netzteil, Stromanschlüsse, Gehäuselänge, freie Steckplätze und Kühlung passen. Zur Stromrechnung dient möglichst der gemessene Verbrauch des gesamten Rechners an der Steckdose. Ein Beispiel: 0,3 kW über 10 Stunden ergeben 3 kWh; bei 0,30 Euro je kWh wären das 0,90 Euro. Diese Werte sind nur eine Rechnung, keine Messung einer genannten Karte. Auch eingeschaltete Stunden ohne Modellarbeit verursachen Verbrauch.

Zwei 24-GB-GPUs behalten getrennte Speicher. Eine geeignete Software kann Gewichte oder Rechenschritte verteilen; Zwischenwerte und mögliche Kopien brauchen ebenfalls Platz. Ein Modell mit 48 GB Gesamtbedarf passt deshalb nicht automatisch auf zwei solche Karten. Verbindung und Aufteilung beeinflussen die Wartezeit. Der Speicherrechner hilft bei der ersten Auswahl. Entscheidend bleiben ein bestätigter Modelltest, ausreichende Reserve und der vollständige Gerätepreis.

Speicherbedarf für die Modellwahl: LLM-VRAM-Rechner.

Quellen

1. NVIDIA: RTX 3060-Familie
2. NVIDIA: RTX 5060-Familie
3. NVIDIA: RTX 3090
4. NVIDIA: RTX 5090 32 GB
5. NVIDIA: RTX 6000 Ada 48 GB
6. NVIDIA: RTX PRO 6000 Blackwell 96 GB
7. vLLM: GPU installation
8. NVIDIA: RTX 4090 24 GB

Quellen erneut geprüft: 25. Oktober 2026. Keine eigenen GPU-Benchmarks; Stromkosten sind ein Rechenbeispiel.