Qwen VRAM & GPU要件カリキュレーター

Qwen展開のためのVRAM要件とGPU数を計算。NVIDIA、AMD、Apple、Huaweiをサポート

台

メモリ要件 2411.08 GB

31 台のGPUが必要(メモリ容量ベース)

2400 GB

すべてのモデル重み

1.5 GB

会話履歴キャッシュ

7.98 GB

エキスパートモデル最適化

1.6 GB

一時計算キャッシュ

パフォーマンス指標
21281 tok/s を体感 →
総スループット
21281 トークン/秒
ユーザーあたりスループット
21281 トークン/秒/ユーザー
推定レイテンシ
7 ms
最大QPS
141.9 クエリ/秒

31x NVIDIA H100 (80GB) のメモリ帯域と演算性能から推定された推論速度です。

クイック起動 CLI コマンド
vllm serve Qwen/Qwen3.8-2.4T-A95B --quantization fp8 --tensor-parallel-size 31 --max-model-len 8192
選択中の精度・コンテキスト長・テンソル並列GPU枚数が反映されています。Qwen3.8-2.4T-A95B 専用ページを開く →

Qwen アーキテクチャとメモリ仕様

総パラメータ数
2400B
アーキテクチャ
MoE(アクティブ 95B)
開発元
Alibaba Qwen
推奨精度
FP8

Qwen 精度別・コンテキスト長別 VRAM マトリクス

同時実行数1におけるモデル重み+KVキャッシュ+実行時メモリの事前計算結果。

量子化精度8K コンテキスト32K コンテキスト128K コンテキスト
FP164812.6 GB4825.4 GB4865.2 GB
FP82411.1 GB2419.4 GB2441.2 GB
INT82411.1 GB2419.4 GB2441.2 GB
INT41210.3 GB1216.4 GB1229.2 GB

Qwen 推奨 GPU 構成一覧(FP8)

8Kコンテキスト・バッチ1環境での最小必要枚数と推定生成速度。

GPU ハードウェア最小 GPU 数合計 VRAM推定速度
NVIDIA RTX 4090 (24GB)101×2424 GB64402 tok/s
NVIDIA RTX 5090 (32GB)76×2432 GB64755 tok/s
Apple M4 Max (128GB) (128GB)19×2432 GB993 tok/s
NVIDIA A100 (80GB) (80GB)31×2480 GB12511 tok/s
NVIDIA H100 (80GB)31×2480 GB21281 tok/s
NVIDIA H200 (141GB)18×2538 GB10436 tok/s
Huawei Ascend 910B (64GB)38×2432 GB11163 tok/s

Qwen デプロイ FAQ

Qwen の実行には何 GB の VRAM が必要ですか?
8Kコンテキスト・バッチ1の Qwen では、FP16で約4812.6 GB、FP8で約2411.1 GB、INT4量子化で約1210.3 GBのVRAMが必要です。
Qwen には RTX 4090 や NVIDIA H100 が何枚必要ですか?
FP8精度でQwenを動かすには、RTX 4090 (24GB) なら最低101枚、H100 (80GB) なら31枚必要です。
Qwen の本番環境ではどの精度を選ぶべきですか?
Alibaba QwenのQwen(2400B)は、速度・メモリ消費・出力品質のバランスに優れたFP8での運用が推奨されます。