NVIDIA dla lokalnych modeli LLM: porównanie RTX 3060, 3090, 5060 Ti, 5090 i kart profesjonalnych

Przy lokalnym modelu językowym pierwsze pytanie dotyczy rzeczywiście wolnej pamięci graficznej. VRAM to pamięć karty graficznej. Pełna praca na jednej karcie wymaga miejsca na wagi modelu, czyli wyuczone liczby, oraz stan tekstu i bufory obliczeń. Szybka karta ze zbyt małą pamięcią może więc pasować gorzej niż starsza z większą pojemnością. Liczba klatek w grach i teoretyczne AI TOPS (biliony operacji na sekundę) nie określają wiarygodnie rozmiaru obsługiwanego modelu ani tempa odpowiedzi.

Tabela obejmuje wybrane niemodyfikowane karty desktopowe i oficjalne wersje pamięci, nie wersje laptopowe ani przeróbki pamięci. Brakuje własnych pomiarów szybkości. Porównanie oddziela cenę karty, resztę komputera i zużycie energii. Aktualne oferty wymagają osobnego zestawienia.

Oficjalne poziomy pamięci

Pojemność przed obietnicą szybkości

Zmiana z 12 na 24 GB może umożliwić większy model lub dłuższe dane wejściowe. RTX 3090 i RTX 4090 mają jednak po 24 GB. Przy tych samych założeniach pamięciowych zmiana nie zwiększa pojemności. Inne oprogramowanie lub format liczb mogą zmienić wymagania, ale to dodatkowa zmiana konfiguracji, a nie wzrost pamięci karty.

32, 48 lub 96 GB zapewnia więcej miejsca, ale nie gwarantuje określonego zadania dla każdego modelu. Długie dokumenty, generowane odpowiedzi i równoczesne zapytania również zajmują pamięć. Jedna pojemna karta może usunąć potrzebę podziału modelu między karty. Opłacalność dopłaty zależy od rzeczywiście potrzebnego modelu i zadania.

Architektura i silnik pozostają kryteriami zakupu

CUDA to platforma NVIDIA do obliczeń na GPU. Karta obsługująca CUDA nadal nie uruchamia każdego programu i formatu liczb. Compute capability oznacza techniczny poziom funkcji GPU, nie zmierzoną szybkość. Aktualna dokumentacja instalacji vLLM wymaga dla NVIDIA co najmniej poziomu 7.5; poszczególne metody obliczeń mogą wymagać więcej. Kernel to procedura obliczeniowa na GPU. Kwantyzacja zapisuje liczby modelu mniejszą liczbą bitów i potrzebuje zgodnych procedur.

Zakup wymaga więc dokładnej kombinacji: modelu karty, sterownika, systemu operacyjnego, programu i jego wersji, rewizji modelu oraz formatu liczb. Działająca gra nie potwierdza tej zgodności. Przydatnym dowodem jest udany test potrzebnego modelu z planowaną długością danych wejściowych. Liczą się także błędy odpowiedzi i czas oczekiwania. Nowy sprzęt potrzebuje zgodnych programów tak samo jak starsze karty.

Właściwe porównanie kart używanych i profesjonalnych

Używana RTX 3090 oferuje 24 GB. Opłacalność oferty zależy od aktualnego pełnego kosztu i stanu. Test działania powinien sprawdzać błędy pamięci, awarie, nietypowe temperatury i hałas podczas dłuższego obciążenia. Krótki start nie ujawnia tych problemów wiarygodnie. Zaliczenie testu nie gwarantuje też pozostałej żywotności. Warunki zwrotu i gwarancji należą więc do porównania.

Karty profesjonalne mogą oferować więcej pamięci i szczególne funkcje. NVIDIA podaje na przykład pamięć ECC dla RTX 6000 Ada i RTX PRO 6000 Blackwell Workstation Edition; ECC wykrywa i koryguje określone błędy pamięci. Nie zastępuje to testu działania i nie gwarantuje lepszych odpowiedzi tekstowych. Dodatkowa pamięć może umożliwić inny model lub format liczb. Sama etykieta profesjonalna nie daje przewagi jakości przy tym samym modelu i ustawieniach.

Cały komputer i wiele GPU

Konkretna karta musi pasować do zasilacza, złączy zasilania, długości obudowy, wolnych gniazd i chłodzenia. Koszt energii najlepiej opierać na pomiarze całego komputera przy gniazdku. Przykład: 0,3 kW przez 10 godzin daje 3 kWh; przy 0,30 euro za kWh koszt wynosi 0,90 euro. To założenia obliczeniowe, nie pomiary wymienionych kart. Włączony komputer zużywa energię także bez pracy modelu.

Dwie karty po 24 GB zachowują osobne pamięci. Zgodny program może podzielić wagi lub obliczenia, ale wyniki pośrednie i możliwe kopie również zajmują miejsce. Model wymagający łącznie 48 GB nie musi więc zmieścić się na dwóch takich kartach. Połączenia i podział wpływają na czas oczekiwania. Kalkulator pamięci pomaga we wstępnym wyborze. Nadal rozstrzygają potwierdzony test modelu, odpowiedni zapas i pełny koszt komputera.

Planowanie pamięci przy wyborze modelu: kalkulator VRAM dla LLM.

Źródła

1. NVIDIA: RTX 3060 — rodzina kart
2. NVIDIA: RTX 5060 — rodzina kart
3. NVIDIA: RTX 3090
4. NVIDIA: RTX 5090 32 GB
5. NVIDIA: RTX 6000 Ada 48 GB
6. NVIDIA: RTX PRO 6000 Blackwell 96 GB
7. vLLM: GPU installation
8. NVIDIA: RTX 4090 24 GB

Źródła ponownie sprawdzone: 25 października 2026. Bez własnych benchmarków GPU; koszt energii jest przykładem obliczeń.