Llama显存与GPU需求计算器

计算Llama部署所需的显存和GPU数量,支持NVIDIA、AMD、苹果、华为等各厂商显卡

张卡

显存需求 402.21 GB

需要 6 张显卡(基于显存容量)

400 GB

所有模型权重

0.5 GB

对话历史缓存

1.43 GB

专家模型优化

0.29 GB

临时计算缓存

总吞吐量
5049 tokens/s
每用户吞吐量
5049 tokens/s/user
预估延迟
30 ms
最大QPS
33.7 queries/s

基于 6x NVIDIA H100 (80GB) 的显存带宽与算力模型推算的参考推理速率。

一键部署命令生成
vllm serve meta-llama/Llama-4-Maverick-17B-128E-Instruct --quantization fp8 --tensor-parallel-size 6 --max-model-len 8192
命令参数已自动匹配当前所选精度、上下文长度与多卡张量并行数量。查看 Llama 4 Maverick 专属显存指南 →

Llama 模型架构与显存规格

总参数量
400B
模型架构
MoE(单步激活 17B)
发布厂商
Meta
推荐部署精度
FP8

Llama 不同精度与上下文显存占用矩阵

预计算的并发=1 显存总占用(含模型权重 + KV Cache + 运行时开销)。

量化精度8K 上下文32K 上下文128K 上下文
FP16802.7 GB806.4 GB819.1 GB
FP8402.2 GB404.4 GB411.1 GB
INT8402.2 GB404.4 GB411.1 GB
INT4202.0 GB203.4 GB207.1 GB

Llama 推荐 GPU 硬件配置表(FP8)

基于 8K 上下文、单并发推算所需最小卡数与单流生成速率。

GPU 显卡型号最低卡数总显存池预估速度
NVIDIA RTX 4090 (24GB)17×408 GB10924 tok/s
NVIDIA RTX 5090 (32GB)13×416 GB12100 tok/s
Apple M4 Max (128GB) (128GB)4×512 GB295 tok/s
NVIDIA A100 (80GB) (80GB)6×480 GB2968 tok/s
NVIDIA H100 (80GB)6×480 GB5049 tok/s
NVIDIA H200 (141GB)3×423 GB1944 tok/s
Huawei Ascend 910B (64GB)7×448 GB2499 tok/s

Llama 部署常见问题

运行 Llama 最低需要多大显存?
在 8K 上下文单并发场景下,Llama 于 FP16 精度约需 802.7 GB,FP8 约需 402.2 GB,INT4 量化后仅需约 202.0 GB 显存。
用 RTX 4090 或 H100 部署 Llama 需要几张卡?
以 FP8 精度运行 Llama,至少需要 17 张 RTX 4090 (24GB) 或 6 张 NVIDIA H100 (80GB)。
生产环境运行 Llama 推荐哪种量化精度?
对于 Meta 推出的 Llama(400B),推荐优先使用 FP8,在生成质量、显存开销与吞吐效率间表现最佳。