Llama VRAM- & GPU-Anforderungsrechner

Berechnen Sie VRAM-Anforderungen und GPU-Anzahl für Llama-Bereitstellung. Unterstützung für NVIDIA, AMD, Apple und Huawei

GPUs

Speicheranforderungen 402.21 GB

Benötigt 6 GPUs (basierend auf Speicherkapazität)

400 GB

Alle Modellgewichte

0.5 GB

Gesprächsverlauf-Cache

1.43 GB

Expertenmodell-Optimierung

0.29 GB

Temporärer Berechnungs-Cache

Leistungsmetriken
5049 tok/s testen →
Gesamtdurchsatz
5049 Token/s
Durchsatz pro Benutzer
5049 Token/s/Benutzer
Geschätzte Latenz
30 ms
Max QPS
33.7 Anfragen/s

Geschätzt aus Speicherbandbreite und Rechenleistung über 6x NVIDIA H100 (80GB).

Schnellstart CLI-Befehl
vllm serve meta-llama/Llama-4-Maverick-17B-128E-Instruct --quantization fp8 --tensor-parallel-size 6 --max-model-len 8192
Flags spiegeln gewählte Präzision, Kontextlänge und Tensor-Parallelität wider.Llama 4 Maverick-Spezifikationsseite öffnen →

Llama Architektur & Speicherprofil

Gesamtparameter
400B
Architektur
MoE (17B aktiv)
Entwickler / Anbieter
Meta
Empfohlene Präzision
FP8

Llama VRAM-Matrix nach Präzision & Kontext

Vorberechnet für 1 Nutzer (Gewichte + KV-Cache + Overhead).

Präzision8K Kontext32K Kontext128K Kontext
FP16802.7 GB806.4 GB819.1 GB
FP8402.2 GB404.4 GB411.1 GB
INT8402.2 GB404.4 GB411.1 GB
INT4202.0 GB203.4 GB207.1 GB

Empfohlene GPUs für Llama (FP8)

Mindestanzahl an GPUs für 8K Kontext (Batch 1) & geschätzter Durchsatz.

GPU-HardwareMin. GPUsGesamt-VRAMGesch. Speed
NVIDIA RTX 4090 (24GB)17×408 GB10924 tok/s
NVIDIA RTX 5090 (32GB)13×416 GB12100 tok/s
Apple M4 Max (128GB) (128GB)4×512 GB295 tok/s
NVIDIA A100 (80GB) (80GB)6×480 GB2968 tok/s
NVIDIA H100 (80GB)6×480 GB5049 tok/s
NVIDIA H200 (141GB)3×423 GB1944 tok/s
Huawei Ascend 910B (64GB)7×448 GB2499 tok/s

FAQ zu Llama

Wie viel VRAM benötigt Llama?
Bei 8K Kontext und Batch 1 benötigt Llama ca. 802.7 GB in FP16, 402.2 GB in FP8 und 202.0 GB mit INT4-Quantisierung.
Wie viele RTX 4090 oder H100 GPUs brauche ich für Llama?
Im FP8-Modus benötigt Llama mindestens 17x RTX 4090 (24GB) oder 6x NVIDIA H100 (80GB).
Welche Präzision empfiehlt sich produktiv für Llama?
Für Llama (400B von Meta) bietet FP8 den besten Kompromiss aus Qualität, Tempo und Speicherbedarf.