AMD Instinct MI300X (192GB) で動作する LLM モデル一覧
AMD Instinct MI300X(VRAM 192GB / メモリ帯域 5300 GB/s)の単機およびマルチGPU推論互換ガイド。
AMD Instinct MI300X ハードウェア仕様
VRAM 容量
192 GB
メモリ帯域幅
5300 GB/s
FP16 演算性能
1300 TFLOPS
アーキテクチャ
CDNA 3
発売年
2023
利用可能 VRAM
192 GB
合計帯域幅
5,300 GB/s
FP16 / FP8 対応
54
INT4 動作可能
71 / 85
DeepSeek-V4-FlashMoE 13B
284B • DeepSeek V4
FP16
569.37 GB
FP8
285.34 GB
INT4
143.32 GB
~693 tok/s (INT4)詳細計算を開く
DeepSeek-R1-Distill-Qwen-32B
32B • DeepSeek
FP16
68.27 GB
FP8
36 GB
INT4
19.86 GB
~61 tok/s (FP16)詳細計算を開く
DeepSeek-R1-Distill-Qwen-14B
14B • DeepSeek
FP16
32.27 GB
FP8
18 GB
INT4
10.86 GB
~61 tok/s (FP16)詳細計算を開く
DeepSeek-R1-Distill-Qwen-7B
7B • DeepSeek
FP16
18.27 GB
FP8
11 GB
INT4
7.36 GB
~61 tok/s (FP16)詳細計算を開く
DeepSeek-R1-Distill-Qwen-1.5B
1.5B • DeepSeek
FP16
7.27 GB
FP8
5.5 GB
INT4
4.61 GB
~61 tok/s (FP16)詳細計算を開く
DeepSeek-R1-Distill-Llama-70B
70B • DeepSeek
FP16
144.27 GB
FP8
74 GB
INT4
38.86 GB
~61 tok/s (FP16)詳細計算を開く
DeepSeek-R1-Distill-Llama-8B
8B • DeepSeek
FP16
20.27 GB
FP8
12 GB
INT4
7.86 GB
~61 tok/s (FP16)詳細計算を開く
Llama 4 ScoutMoE 17B
109B • Llama 4
FP16
220.71 GB
FP8
111.21 GB
INT4
56.46 GB
~265 tok/s (FP8)詳細計算を開く
Qwen3.5-122B-A10BMoE 10B
122B • Qwen 3.5
FP16
246.01 GB
FP8
123.51 GB
INT4
62.26 GB
~451 tok/s (FP8)詳細計算を開く
Qwen3.5-35B-A3BMoE 3B
35B • Qwen 3.5
FP16
70.98 GB
FP8
35.66 GB
INT4
18.01 GB
~751 tok/s (FP16)詳細計算を開く
Qwen3-Next-80B-A3B-InstructMoE 3B
81B • Qwen 3-Next
FP16
163.48 GB
FP8
81.91 GB
INT4
41.13 GB
~751 tok/s (FP16)詳細計算を開く
Qwen3-Next-80B-A3B-ThinkingMoE 3B
81B • Qwen 3-Next
FP16
163.48 GB
FP8
81.91 GB
INT4
41.13 GB
~751 tok/s (FP16)詳細計算を開く
Qwen3-235B-A22BMoE 22B
235B • Qwen 3
FP16
473.69 GB
FP8
237.95 GB
INT4
120.08 GB
~410 tok/s (INT4)詳細計算を開く
Mistral-Large-Instruct-2407
123B • Mistral
FP16
261.15 GB
FP8
136.77 GB
INT4
74.59 GB
~37 tok/s (FP8)詳細計算を開く
Mixtral-8x7BMoE 12.9B
46.7B • Mixtral
FP16
95.7 GB
FP8
48.5 GB
INT4
24.9 GB
~175 tok/s (FP16)詳細計算を開く
Mixtral-8x22BMoE 39B
141B • Mixtral
FP16
287.68 GB
FP8
145.81 GB
INT4
74.87 GB
~116 tok/s (FP8)詳細計算を開く
GLM-4.5-BaseMoE 32B
355B • GLM-4
FP16
715.73 GB
FP8
359.48 GB
INT4
181.35 GB
~282 tok/s (INT4)詳細計算を開く
GLM-4.5-Air-BaseMoE 12B
106B • GLM-4
FP16
217.73 GB
FP8
110.48 GB
INT4
56.85 GB
~141 tok/s (FP8)詳細計算を開く
MiniMax-M2MoE 10B
230B • MiniMax M2
FP16
462.95 GB
FP8
231.98 GB
INT4
116.49 GB
~901 tok/s (INT4)詳細計算を開く
MiniMax-M2.5MoE 10B
230B • MiniMax M2
FP16
462.95 GB
FP8
231.98 GB
INT4
116.49 GB
~901 tok/s (INT4)詳細計算を開く
MiniMax-M2.7MoE 10B
230B • MiniMax M2
FP16
462.95 GB
FP8
231.98 GB
INT4
116.49 GB
~901 tok/s (INT4)詳細計算を開く
MiMo-V2-FlashMoE 15B
309B • MiMo
FP16
620.64 GB
FP8
311.07 GB
INT4
156.29 GB
~601 tok/s (INT4)詳細計算を開く
GPT-OSS-120BMoE 5.1B
117B • GPT-OSS
FP16
235.65 GB
FP8
118.09 GB
INT4
59.31 GB
~883 tok/s (FP8)詳細計算を開く
AMD Instinct MI300X 1x / 2x / 4x 構成 LLM 互換マトリクス
8Kコンテキスト・バッチサイズ1条件での事前検証結果。
| LLM モデル | FP8 必要 VRAM | 1× (192GB) | 2× (384GB) | 4× (768GB) |
|---|---|---|---|---|
| DeepSeek-R1(671B) | 675 GB | Needs 2× | INT4 | FP8 / INT4 |
| DeepSeek-R1-Distill-Qwen-32B(32B) | 36 GB | FP16 / FP8 / INT4 | FP16 / FP8 / INT4 | FP16 / FP8 / INT4 |
| Llama 4 Scout(109B) | 111.21 GB | FP8 / INT4 | FP16 / FP8 / INT4 | FP16 / FP8 / INT4 |
| Llama 3.1 8B(8B) | 9.31 GB | FP16 / FP8 / INT4 | FP16 / FP8 / INT4 | FP16 / FP8 / INT4 |
| Llama 3.1 70B(70B) | 78.31 GB | FP16 / FP8 / INT4 | FP16 / FP8 / INT4 | FP16 / FP8 / INT4 |
| Qwen3-235B-A22B(235B) | 237.95 GB | INT4 | FP8 / INT4 | FP16 / FP8 / INT4 |
| Qwen3-32B(32B) | 36.23 GB | FP16 / FP8 / INT4 | FP16 / FP8 / INT4 | FP16 / FP8 / INT4 |
| Qwen3-14B(14B) | 16.04 GB | FP16 / FP8 / INT4 | FP16 / FP8 / INT4 | FP16 / FP8 / INT4 |
| Mixtral-8x7B(46.7B) | 48.5 GB | FP16 / FP8 / INT4 | FP16 / FP8 / INT4 | FP16 / FP8 / INT4 |
| GPT-OSS-20B(21B) | 21.78 GB | FP16 / FP8 / INT4 | FP16 / FP8 / INT4 | FP16 / FP8 / INT4 |
全 22 GPU 専用互換ガイド一覧
NVIDIA RTX 5090 (32GB)NVIDIA RTX 5080 (16GB)NVIDIA RTX 5070 Ti (16GB)NVIDIA RTX 4090 (24GB)NVIDIA RTX 4080 SUPER (16GB)NVIDIA RTX 4070 Ti Super (16GB)NVIDIA RTX 4060 Ti (16GB)NVIDIA RTX 3090 (24GB)AMD Radeon RX 7900 XTX (24GB)NVIDIA RTX PRO 6000 Blackwell (96GB)Apple M4 Max (128GB)Apple M4 Max (64GB)Apple M4 Pro (48GB)Apple M3 Ultra (192GB)NVIDIA B200 (192GB)NVIDIA H200 (141GB)NVIDIA H100 (80GB)NVIDIA H20 (96GB)NVIDIA A100 (80GB)NVIDIA L40S (48GB)AMD Instinct MI300X (192GB)Huawei Ascend 910B (64GB)
AMD Instinct MI300X ローカル推論 FAQ
tools.gpuCompatibility.gpuDetail.faq.q1▾
単枚 192GB の VRAM により、8Kコンテキスト環境下で主要ベンチマークのうち 71 モデルを FP16・FP8・INT4 でローカル起動できます。
AMD Instinct MI300X のトークン生成速度の目安は?▾
5300 GB/sの帯域幅と192GBメモリにより、出力速度は1トークンあたりに読み込むアクティブ重み量に反比例して決まります。
2枚または4枚の AMD Instinct MI300X が必要になるのはいつですか?▾
重みとKVキャッシュの合計が192GBを超える場合や、高並列リクエストを処理したい場合にマルチGPU並列構成が必須となります。
関連する LLM・GPU ツールを探索
全ツールとディレクトリを見る →人気モデル別 VRAM 計算機
DeepSeek-R1 (671B)DeepSeek-V3 (671B)DeepSeek-V4-Pro (1.6T)DeepSeek-V4-Flash (284B)DeepSeek-R1-Distill-Qwen-32BDeepSeek-R1-Distill-Qwen-14BDeepSeek-R1-Distill-Qwen-7BDeepSeek-R1-Distill-Llama-70BLlama 4 Maverick (400B)Llama 4 Scout (109B)Llama 3.1 405BLlama 3.1 70BLlama 3.1 8BLlama 3.2 3BQwen3.5-397B-A17BQwen3-235B-A22BQwen3-Coder-480B-A35BQwen3-32B
GPU 互換性ガイド
NVIDIA RTX 5090 (32GB)NVIDIA RTX 5080 (16GB)NVIDIA RTX 5070 Ti (16GB)NVIDIA RTX 4090 (24GB)NVIDIA RTX 4080 SUPER (16GB)NVIDIA RTX 4070 Ti Super (16GB)NVIDIA RTX 4060 Ti (16GB)NVIDIA RTX 3090 (24GB)AMD Radeon RX 7900 XTX (24GB)NVIDIA RTX PRO 6000 Blackwell (96GB)Apple M4 Max (128GB)Apple M4 Max (64GB)Apple M4 Pro (48GB)Apple M3 Ultra (192GB)