Llama VRAM & GPU要件カリキュレーター

Llama展開のためのVRAM要件とGPU数を計算。NVIDIA、AMD、Apple、Huaweiをサポート

台

メモリ要件 402.21 GB

6 台のGPUが必要(メモリ容量ベース)

400 GB

すべてのモデル重み

0.5 GB

会話履歴キャッシュ

1.43 GB

エキスパートモデル最適化

0.29 GB

一時計算キャッシュ

パフォーマンス指標
5049 tok/s を体感 →
総スループット
5049 トークン/秒
ユーザーあたりスループット
5049 トークン/秒/ユーザー
推定レイテンシ
30 ms
最大QPS
33.7 クエリ/秒

6x NVIDIA H100 (80GB) のメモリ帯域と演算性能から推定された推論速度です。

クイック起動 CLI コマンド
vllm serve meta-llama/Llama-4-Maverick-17B-128E-Instruct --quantization fp8 --tensor-parallel-size 6 --max-model-len 8192
選択中の精度・コンテキスト長・テンソル並列GPU枚数が反映されています。Llama 4 Maverick 専用ページを開く →

Llama アーキテクチャとメモリ仕様

総パラメータ数
400B
アーキテクチャ
MoE(アクティブ 17B)
開発元
Meta
推奨精度
FP8

Llama 精度別・コンテキスト長別 VRAM マトリクス

同時実行数1におけるモデル重み+KVキャッシュ+実行時メモリの事前計算結果。

量子化精度8K コンテキスト32K コンテキスト128K コンテキスト
FP16802.7 GB806.4 GB819.1 GB
FP8402.2 GB404.4 GB411.1 GB
INT8402.2 GB404.4 GB411.1 GB
INT4202.0 GB203.4 GB207.1 GB

Llama 推奨 GPU 構成一覧(FP8)

8Kコンテキスト・バッチ1環境での最小必要枚数と推定生成速度。

GPU ハードウェア最小 GPU 数合計 VRAM推定速度
NVIDIA RTX 4090 (24GB)17×408 GB10924 tok/s
NVIDIA RTX 5090 (32GB)13×416 GB12100 tok/s
Apple M4 Max (128GB) (128GB)4×512 GB295 tok/s
NVIDIA A100 (80GB) (80GB)6×480 GB2968 tok/s
NVIDIA H100 (80GB)6×480 GB5049 tok/s
NVIDIA H200 (141GB)3×423 GB1944 tok/s
Huawei Ascend 910B (64GB)7×448 GB2499 tok/s

Llama デプロイ FAQ

Llama の実行には何 GB の VRAM が必要ですか?
8Kコンテキスト・バッチ1の Llama では、FP16で約802.7 GB、FP8で約402.2 GB、INT4量子化で約202.0 GBのVRAMが必要です。
Llama には RTX 4090 や NVIDIA H100 が何枚必要ですか?
FP8精度でLlamaを動かすには、RTX 4090 (24GB) なら最低17枚、H100 (80GB) なら6枚必要です。
Llama の本番環境ではどの精度を選ぶべきですか?
MetaのLlama(400B)は、速度・メモリ消費・出力品質のバランスに優れたFP8での運用が推奨されます。