Qwen VRAM & GPU要件カリキュレーター
Qwen展開のためのVRAM要件とGPU数を計算。NVIDIA、AMD、Apple、Huaweiをサポート
台
メモリ要件 2411.08 GB
31 台のGPUが必要(メモリ容量ベース)
2400 GB
すべてのモデル重み
1.5 GB
会話履歴キャッシュ
7.98 GB
エキスパートモデル最適化
1.6 GB
一時計算キャッシュ
パフォーマンス指標
21281 tok/s を体感 →総スループット
21281 トークン/秒
ユーザーあたりスループット
21281 トークン/秒/ユーザー
推定レイテンシ
7 ms
最大QPS
141.9 クエリ/秒
31x NVIDIA H100 (80GB) のメモリ帯域と演算性能から推定された推論速度です。
クイック起動 CLI コマンド
vllm serve Qwen/Qwen3.8-2.4T-A95B --quantization fp8 --tensor-parallel-size 31 --max-model-len 8192
選択中の精度・コンテキスト長・テンソル並列GPU枚数が反映されています。Qwen3.8-2.4T-A95B 専用ページを開く →
Qwen アーキテクチャとメモリ仕様
総パラメータ数
2400B
アーキテクチャ
MoE(アクティブ 95B)
開発元
Alibaba Qwen
推奨精度
FP8
Qwen 精度別・コンテキスト長別 VRAM マトリクス
同時実行数1におけるモデル重み+KVキャッシュ+実行時メモリの事前計算結果。
| 量子化精度 | 8K コンテキスト | 32K コンテキスト | 128K コンテキスト |
|---|---|---|---|
| FP16 | 4812.6 GB | 4825.4 GB | 4865.2 GB |
| FP8 | 2411.1 GB | 2419.4 GB | 2441.2 GB |
| INT8 | 2411.1 GB | 2419.4 GB | 2441.2 GB |
| INT4 | 1210.3 GB | 1216.4 GB | 1229.2 GB |
Qwen 推奨 GPU 構成一覧(FP8)
8Kコンテキスト・バッチ1環境での最小必要枚数と推定生成速度。
| GPU ハードウェア | 最小 GPU 数 | 合計 VRAM | 推定速度 |
|---|---|---|---|
| NVIDIA RTX 4090 (24GB) | 101× | 2424 GB | 64402 tok/s |
| NVIDIA RTX 5090 (32GB) | 76× | 2432 GB | 64755 tok/s |
| Apple M4 Max (128GB) (128GB) | 19× | 2432 GB | 993 tok/s |
| NVIDIA A100 (80GB) (80GB) | 31× | 2480 GB | 12511 tok/s |
| NVIDIA H100 (80GB) | 31× | 2480 GB | 21281 tok/s |
| NVIDIA H200 (141GB) | 18× | 2538 GB | 10436 tok/s |
| Huawei Ascend 910B (64GB) | 38× | 2432 GB | 11163 tok/s |
Qwen デプロイ FAQ
Qwen の実行には何 GB の VRAM が必要ですか?
8Kコンテキスト・バッチ1の Qwen では、FP16で約4812.6 GB、FP8で約2411.1 GB、INT4量子化で約1210.3 GBのVRAMが必要です。
Qwen には RTX 4090 や NVIDIA H100 が何枚必要ですか?
FP8精度でQwenを動かすには、RTX 4090 (24GB) なら最低101枚、H100 (80GB) なら31枚必要です。
Qwen の本番環境ではどの精度を選ぶべきですか?
Alibaba QwenのQwen(2400B)は、速度・メモリ消費・出力品質のバランスに優れたFP8での運用が推奨されます。