NVIDIA für lokale LLMs: RTX 3060, 3090, 5060 Ti, 5090 und professionelle Karten im Vergleich

Für lokale LLMs zählt bei einer NVIDIA-Karte zuerst das Modell, das vollständig in den verfügbaren Speicher passen soll. Eine schnellere Karte mit zu wenig VRAM kann eine schlechtere praktische Wahl sein als ein älteres Modell mit größerer Kapazität. Gaming-FPS und AI-TOPS beantworten diese Frage nicht.

Der Vergleich nennt ausgewählte offizielle Speichervarianten. Die Bewertung folgt Spezifikationen und Betriebsanforderungen, nicht eigenen Geschwindigkeitsmessungen. Kartenpreis, Gesamtgerät und laufende Kosten bleiben getrennte Größen.

Offizielle Speicherschritte

Kapazität vor Geschwindigkeitsversprechen

Der Sprung von 12 auf 24 GB kann eine andere Modellklasse ermöglichen. Der Wechsel von einer RTX 3090 zu einer RTX 4090 vergrößert dagegen den offiziellen Speicher nicht. Ein Modell, das mit Kontext und Puffern mehr als 24 GB braucht, erhält dadurch keine zusätzliche Kapazität.

Eine 32-GB-Karte erweitert das Budget, garantiert aber keinen bestimmten Kontext für jede Architektur. Auch 48 oder 96 GB müssen Gewichte, Zustände und Reserven gemeinsam tragen. Die professionelle Klasse kann deshalb bei einem großen Einzelmodell sinnvoller sein als mehrere kleinere Karten.

Architektur und Runtime bleiben Kaufkriterien

CUDA-Unterstützung ist nur die erste Ebene. Präzisionen, Quantisierungskernels und Modellarchitekturen haben weitere Voraussetzungen. vLLM dokumentiert eine Mindest-Compute-Capability für NVIDIA-GPUs; einzelne Funktionen können trotzdem andere Grenzen besitzen. Eine alte Karte mit viel VRAM ist nicht automatisch mit jeder modernen Konfiguration kompatibel.

Vor dem Kauf steht deshalb eine konkrete Kombination aus Runtime-Version, Modellrevision und Quantisierung. Ein vorhandener GPU-Treiber oder ein erfolgreiches Gaming-Programm bestätigt diesen Inferenzpfad nicht. Bei neuer Hardware sind passende Pakete ebenso wichtig wie bei älteren Karten.

Gebrauchtkarte und professionelle Karte richtig vergleichen

Eine gebrauchte RTX 3090 kann eine günstige Kapazitätsoption sein, sobald Zustand, tatsächlicher Preis und Rückgabeweg passen. Kühlung, Speicherprüfung und Laststabilität gehören zur Rechnung. Ein niedriger Angebotspreis ohne belastbaren Funktionsnachweis ist keine vollständige Kaufgrundlage.

Professionelle Karten unterscheiden sich auch bei Bauform, Speicherfunktionen und Einsatzprofil. Der Aufpreis braucht eine konkrete Begründung: größere Einzelmodellkapazität, passende Kühlung oder Anforderungen an den Dauerbetrieb. Das Modell produziert bei identischer Ausführung nicht allein wegen eines professionellen Kartenlabels bessere Antworten.

Gesamtsystem und Mehrkartenbetrieb

Netzteil, Anschlüsse, Gehäusefreiheit und Wärmeabfuhr sind vor einer großen Karte zu prüfen. Gemessene Systemleistung an der Steckdose ist für Betriebskosten aussagekräftiger als ein einzelner Nennwert. Leerlaufstunden zählen bei einem dauerhaft eingeschalteten Rechner ebenfalls.

Zwei 24-GB-GPUs bleiben getrennte Speicherpools. Eine geeignete Runtime kann das Modell verteilen, doch Verteilung und Verbindung beeinflussen den Betrieb. Die einfache Alternative ist eine Einzelkarte mit genügend Reserve. Der Speicherrechner unterstützt diese Vorauswahl; nachgewiesene Kompatibilität und Gesamtpreis entscheiden den konkreten Kauf.

Speicherbedarf für die Modellwahl: LLM-VRAM-Rechner.

Quellen

1. NVIDIA: RTX 3060-Familie
2. NVIDIA: RTX 5060-Familie
3. NVIDIA: RTX 3090
4. NVIDIA: RTX 5090 32 GB
5. NVIDIA: RTX 6000 Ada 48 GB
6. NVIDIA: RTX PRO 6000 Blackwell 96 GB
7. vLLM: GPU installation
8. NVIDIA: RTX 4090 24 GB

Quellen geprüft: 5. Oktober 2026.