Llama VRAM- & GPU-Anforderungsrechner
Berechnen Sie VRAM-Anforderungen und GPU-Anzahl für Llama-Bereitstellung. Unterstützung für NVIDIA, AMD, Apple und Huawei
GPUs
Speicheranforderungen 402.21 GB
Benötigt 6 GPUs (basierend auf Speicherkapazität)
400 GB
Alle Modellgewichte
0.5 GB
Gesprächsverlauf-Cache
1.43 GB
Expertenmodell-Optimierung
0.29 GB
Temporärer Berechnungs-Cache
Leistungsmetriken
5049 tok/s testen →Gesamtdurchsatz
5049 Token/s
Durchsatz pro Benutzer
5049 Token/s/Benutzer
Geschätzte Latenz
30 ms
Max QPS
33.7 Anfragen/s
Geschätzt aus Speicherbandbreite und Rechenleistung über 6x NVIDIA H100 (80GB).
Schnellstart CLI-Befehl
vllm serve meta-llama/Llama-4-Maverick-17B-128E-Instruct --quantization fp8 --tensor-parallel-size 6 --max-model-len 8192
Flags spiegeln gewählte Präzision, Kontextlänge und Tensor-Parallelität wider.Llama 4 Maverick-Spezifikationsseite öffnen →
Llama Architektur & Speicherprofil
Gesamtparameter
400B
Architektur
MoE (17B aktiv)
Entwickler / Anbieter
Meta
Empfohlene Präzision
FP8
Llama VRAM-Matrix nach Präzision & Kontext
Vorberechnet für 1 Nutzer (Gewichte + KV-Cache + Overhead).
| Präzision | 8K Kontext | 32K Kontext | 128K Kontext |
|---|---|---|---|
| FP16 | 802.7 GB | 806.4 GB | 819.1 GB |
| FP8 | 402.2 GB | 404.4 GB | 411.1 GB |
| INT8 | 402.2 GB | 404.4 GB | 411.1 GB |
| INT4 | 202.0 GB | 203.4 GB | 207.1 GB |
Empfohlene GPUs für Llama (FP8)
Mindestanzahl an GPUs für 8K Kontext (Batch 1) & geschätzter Durchsatz.
| GPU-Hardware | Min. GPUs | Gesamt-VRAM | Gesch. Speed |
|---|---|---|---|
| NVIDIA RTX 4090 (24GB) | 17× | 408 GB | 10924 tok/s |
| NVIDIA RTX 5090 (32GB) | 13× | 416 GB | 12100 tok/s |
| Apple M4 Max (128GB) (128GB) | 4× | 512 GB | 295 tok/s |
| NVIDIA A100 (80GB) (80GB) | 6× | 480 GB | 2968 tok/s |
| NVIDIA H100 (80GB) | 6× | 480 GB | 5049 tok/s |
| NVIDIA H200 (141GB) | 3× | 423 GB | 1944 tok/s |
| Huawei Ascend 910B (64GB) | 7× | 448 GB | 2499 tok/s |
FAQ zu Llama
Wie viel VRAM benötigt Llama?
Bei 8K Kontext und Batch 1 benötigt Llama ca. 802.7 GB in FP16, 402.2 GB in FP8 und 202.0 GB mit INT4-Quantisierung.
Wie viele RTX 4090 oder H100 GPUs brauche ich für Llama?
Im FP8-Modus benötigt Llama mindestens 17x RTX 4090 (24GB) oder 6x NVIDIA H100 (80GB).
Welche Präzision empfiehlt sich produktiv für Llama?
Für Llama (400B von Meta) bietet FP8 den besten Kompromiss aus Qualität, Tempo und Speicherbedarf.