台

メモリ要件 18.27 GB

1 台のGPUが必要(メモリ容量ベース)

14 GB

すべてのモデル重み

0.54 GB

会話履歴キャッシュ

3.11 GB

エキスパートモデル最適化

0.62 GB

一時計算キャッシュ

パフォーマンス指標
38 tok/s を体感 →
総スループット
38 トークン/秒
ユーザーあたりスループット
38 トークン/秒/ユーザー
推定レイテンシ
3957 ms
最大QPS
0.3 クエリ/秒

1x NVIDIA H100 (80GB) のメモリ帯域と演算性能から推定された推論速度です。

クイック起動 CLI コマンド
vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-7B --max-model-len 8192
選択中の精度・コンテキスト長・テンソル並列GPU枚数が反映されています。DeepSeek-R1-Distill-Qwen-7B 専用ページを開く →

シナリオ例 (GPU + モデル + 並行性):

これらの例をクリックして、人気のモデル展開シナリオを素早く設定!

📋 計算式FAQ

GPUスループットはどのように計算されますか?
デュアル制約アプローチを使用:計算制約スループット = (GPU TFLOPS × 精度倍率 × 1000) ÷ (2 × アクティブパラメータ数十億)、メモリ帯域幅制約スループット = メモリ帯域幅(GB/s) ÷ トークンあたり総メモリアクセス量(GB)。実際のスループットはこれらの最小値で、実際のボトルネックを表します。
なぜメモリ帯域幅制限を考慮するのですか?
A100 40GBベンチマークデータに基づくと、すべてのテストモデルは計算能力ではなくメモリ帯域幅によって制限されていました。これは純粋な計算ベースの推定よりも正確な、メモリ帯域幅ベースの計算アプローチを検証しています。
MoEモデルはどのように異なって処理されますか?
DeepSeek-R1(671B総、37Bアクティブ)のようなMoE(Mixture of Experts)モデルでは、帯域幅計算でアクティブパラメータのみを考慮します。これは、トークンあたりのメモリアクセスが全671Bではなく37Bパラメータに基づくことを意味し、MoEモデルを推論でより効率的にします。
システム効率係数は何を表しますか?
システム効率係数(40%ベース)は、実世界のオーバーヘッドを考慮しています:推論フレームワークのオーバーヘッド(Ollama、vLLM)、メモリアクセスパターン、バッチ処理効率、ハードウェア利用率。この係数は、A100 40GBの実際のベンチマークデータを使用して校正され、観測された平均効率は37.2%です。
L2キャッシュヒット率はGPUスループット計算にどのような影響を与えますか?
L2キャッシュはメモリ帯域幅の利用率に大きく影響します。モデルの重みがL2にキャッシュされている場合、HBMからの~3.35TB/sではなく~12TB/sでアクセスできます。簡化された確率モデルを使用してキャッシュヒット率を計算します:ヒット率 = (N-1)/N、ここでNは同時ユーザー数です。これは重みアクセスの重複確率を反映します:1ユーザー:0%ヒット率(キャッシュ再利用なし)、2ユーザー:50%ヒット率(2番目のユーザーが1番目のユーザーが読み込んだ重みを再利用可能)、4ユーザー:75%ヒット率、10ユーザー:90%ヒット率。このアプローチは確率論に基づいています:複数のユーザーが同時にモデルにアクセスする際、後続のユーザーが同じ重みにアクセスする確率が増加し、キャッシュ効率が向上します。
精度はパフォーマンスにどのような影響を与えますか?
低精度フォーマットはメモリ使用量を削減し、スループットを向上させます:FP16(2バイト/パラメータ):ベースラインパフォーマンス、FP8(1バイト/パラメータ):約2倍のメモリ削減、INT4(0.5バイト/パラメータ):約4倍のメモリ削減とより良いキャッシュ利用による20%のパフォーマンス向上。ただし、積極的な量子化はモデルの精度に影響する可能性があり、品質を維持するためにGPTQやAWQなどの技術が必要です。
なぜ私の結果が他の計算機と異なるのですか?
私たちの計算機は主要制約としてメモリ帯域幅を使用し、実際のベンチマークデータで校正していますが、多くの他の計算機は計算ベースの推定のみを使用しています。また、MoEモデルを適切に処理し、現実的なシステム効率係数を含むため、より正確な実世界予測につながります。
LLM展開のための予算に優しいGPUオプションは何ですか?
💰 予算に優しいオプション(1万ドル未満):RTX 4090 (24GB) - 7B-13Bモデルに最適、シングルカード設定;RTX 3090 (24GB) - 小型モデルと実験に良い価値;複数のRTX 4060 Ti (16GB) - 分散推論のコスト効率的なソリューション。
エンタープライズグレードのGPUソリューションは何ですか?
🏢 エンタープライズソリューション(5万ドル以上):NVIDIA H100 (80GB) - 本番LLM展開の業界標準;NVIDIA A100 (80GB) - 実証済みの信頼性、70B+モデルに適している;AMD MI355X (288GB) - 最新のCDNA 4、大規模モデルに最高のメモリ容量;AMD MI350X (288GB) - CDNA 4空冷、優秀な価格性能比;AMD MI325X (256GB) - HBM3E搭載のCDNA 3、大型モデル展開に最適;AMD MI300X (192GB) - 実証済みのCDNA 3、400B+モデルに優秀。
人気のAIモデルのGPU要件は何ですか?
🆕 Qwen2.5 & Qwen3:Qwen2.5-72BはFP8で2x H100が必要、Qwen3-235B-A22B(MoE)は4x H100が必要。DeepSeek R1:671Bパラメータは最適性能のためFP8で約10x H100が必要。Llama 3.1 70B:FP16で2x A100/H100、またはコンシューマーハードウェアで7x RTX 4090。Llama 3.1 405B:FP8で6x H100、またはFP16で11x A100。
GPU最適化のプロのヒントは何ですか?
⚡ プロのヒント:FP8/INT8を使用 - 品質損失を最小限に抑えてメモリ使用量を50-75%削減;MoEモデルを検討 - Qwen3-235B-A22Bは4x H100でフラッグシップ性能を提供(DeepSeek-R1の10xと比較);モデル並列処理 - 大型モデルを複数のGPUに分割;混合精度 - FP16推論とFP32勾配を組み合わせてトレーニング;メモリマッピング - モデル保存にCPU RAM、アクティブ層にGPUを使用。