NVIDIA A100 (80GB) で動作する LLM モデル一覧

NVIDIA A100 (80GB)(VRAM 80GB / メモリ帯域 1940 GB/s)の単機およびマルチGPU推論互換ガイド。

NVIDIA A100 (80GB) ハードウェア仕様

VRAM 容量
80 GB
メモリ帯域幅
1940 GB/s
FP16 演算性能
77.97 TFLOPS
アーキテクチャ
Ampere
発売年
2021
利用可能 VRAM
80 GB
合計帯域幅
1,940 GB/s
FP16 / FP8 対応
43
INT4 動作可能
61 / 85
DeepSeek-R1-Distill-Qwen-32B
32B • DeepSeek
FP16+ 対応
FP16
68.27 GB
FP8
36 GB
INT4
19.86 GB
~22 tok/s (FP16)詳細計算を開く
DeepSeek-R1-Distill-Qwen-14B
14B • DeepSeek
FP16+ 対応
FP16
32.27 GB
FP8
18 GB
INT4
10.86 GB
~22 tok/s (FP16)詳細計算を開く
DeepSeek-R1-Distill-Qwen-7B
7B • DeepSeek
FP16+ 対応
FP16
18.27 GB
FP8
11 GB
INT4
7.36 GB
~22 tok/s (FP16)詳細計算を開く
DeepSeek-R1-Distill-Qwen-1.5B
1.5B • DeepSeek
FP16+ 対応
FP16
7.27 GB
FP8
5.5 GB
INT4
4.61 GB
~22 tok/s (FP16)詳細計算を開く
DeepSeek-R1-Distill-Llama-70B
70B • DeepSeek
FP8+ 対応
FP16
144.27 GB
FP8
74 GB
INT4
38.86 GB
~45 tok/s (FP8)詳細計算を開く
DeepSeek-R1-Distill-Llama-8B
8B • DeepSeek
FP16+ 対応
FP16
20.27 GB
FP8
12 GB
INT4
7.86 GB
~22 tok/s (FP16)詳細計算を開く
Llama 4 ScoutMoE 17B
109B • Llama 4
INT4 対応
FP16
220.71 GB
FP8
111.21 GB
INT4
56.46 GB
~194 tok/s (INT4)詳細計算を開く
Llama 3 8B
8B • Llama 3
FP16+ 対応
FP16
17.81 GB
FP8
9.31 GB
INT4
5.06 GB
~103 tok/s (FP16)詳細計算を開く
Llama 3 70B
70B • Llama 3
FP8+ 対応
FP16
149.56 GB
FP8
78.31 GB
INT4
42.68 GB
~24 tok/s (FP8)詳細計算を開く
Llama 3.1 8B
8B • Llama 3
FP16+ 対応
FP16
17.81 GB
FP8
9.31 GB
INT4
5.06 GB
~103 tok/s (FP16)詳細計算を開く
Llama 3.1 70B
70B • Llama 3
FP8+ 対応
FP16
149.56 GB
FP8
78.31 GB
INT4
42.68 GB
~24 tok/s (FP8)詳細計算を開く
Llama 3.2 1B
1B • Llama 3
FP16+ 対応
FP16
2.55 GB
FP8
1.43 GB
INT4
0.86 GB
~825 tok/s (FP16)詳細計算を開く
Llama 3.2 3B
3B • Llama 3
FP16+ 対応
FP16
7.23 GB
FP8
3.79 GB
INT4
2.07 GB
~275 tok/s (FP16)詳細計算を開く
Llama 3.2 11B
11B • Llama 3
FP16+ 対応
FP16
24.11 GB
FP8
12.61 GB
INT4
6.86 GB
~75 tok/s (FP16)詳細計算を開く
Llama 3.2 90B
90B • Llama 3
INT4 対応
FP16
191.57 GB
FP8
100.32 GB
INT4
54.7 GB
~37 tok/s (INT4)詳細計算を開く
Qwen3.5-122B-A10BMoE 10B
122B • Qwen 3.5
INT4 対応
FP16
246.01 GB
FP8
123.51 GB
INT4
62.26 GB
~330 tok/s (INT4)詳細計算を開く
Qwen3.5-35B-A3BMoE 3B
35B • Qwen 3.5
FP16+ 対応
FP16
70.98 GB
FP8
35.66 GB
INT4
18.01 GB
~275 tok/s (FP16)詳細計算を開く
Qwen3.5-27B
27B • Qwen 3.5
FP16+ 対応
FP16
59.22 GB
FP8
30.97 GB
INT4
16.85 GB
~31 tok/s (FP16)詳細計算を開く
Qwen3-Next-80B-A3B-InstructMoE 3B
81B • Qwen 3-Next
INT4 対応
FP16
163.48 GB
FP8
81.91 GB
INT4
41.13 GB
~1099 tok/s (INT4)詳細計算を開く
Qwen3-Next-80B-A3B-ThinkingMoE 3B
81B • Qwen 3-Next
INT4 対応
FP16
163.48 GB
FP8
81.91 GB
INT4
41.13 GB
~1099 tok/s (INT4)詳細計算を開く
Qwen2.5-Math-72B
72B • Qwen 2
INT4 対応
FP16
153.76 GB
FP8
80.51 GB
INT4
43.88 GB
~46 tok/s (INT4)詳細計算を開く
Qwen2.5-72B
72B • Qwen 2
INT4 対応
FP16
153.76 GB
FP8
80.51 GB
INT4
43.88 GB
~46 tok/s (INT4)詳細計算を開く
Qwen2-72B
72B • Qwen 2
INT4 対応
FP16
153.76 GB
FP8
80.51 GB
INT4
43.88 GB
~46 tok/s (INT4)詳細計算を開く
Qwen QwQ-32B
32B • Qwen QwQ
FP16+ 対応
FP16
69.1 GB
FP8
36.16 GB
INT4
19.69 GB
~26 tok/s (FP16)詳細計算を開く
Qwen2.5-Coder-32B
32B • Qwen 2
FP16+ 対応
FP16
69.1 GB
FP8
36.16 GB
INT4
19.69 GB
~26 tok/s (FP16)詳細計算を開く
Qwen3-32B
32B • Qwen 3
FP16+ 対応
FP16
69.23 GB
FP8
36.23 GB
INT4
19.73 GB
~26 tok/s (FP16)詳細計算を開く
Qwen2.5-32B
32B • Qwen 2
FP16+ 対応
FP16
69.1 GB
FP8
36.16 GB
INT4
19.69 GB
~26 tok/s (FP16)詳細計算を開く
Qwen2-32B
32B • Qwen 2
FP16+ 対応
FP16
69.1 GB
FP8
36.16 GB
INT4
19.69 GB
~26 tok/s (FP16)詳細計算を開く
Qwen3-30B-A3BMoE 3B
30B • Qwen 3
FP16+ 対応
FP16
61.1 GB
FP8
30.73 GB
INT4
15.54 GB
~275 tok/s (FP16)詳細計算を開く
Qwen2.5-14B
14B • Qwen 2
FP16+ 対応
FP16
30.66 GB
FP8
16.04 GB
INT4
8.72 GB
~59 tok/s (FP16)詳細計算を開く
Qwen3-14B
14B • Qwen 3
FP16+ 対応
FP16
30.66 GB
FP8
16.04 GB
INT4
8.72 GB
~59 tok/s (FP16)詳細計算を開く
Qwen2-14B
14B • Qwen 2
FP16+ 対応
FP16
30.66 GB
FP8
16.04 GB
INT4
8.72 GB
~59 tok/s (FP16)詳細計算を開く
Qwen3-8B
8B • Qwen 3
FP16+ 対応
FP16
17.93 GB
FP8
9.37 GB
INT4
5.09 GB
~103 tok/s (FP16)詳細計算を開く
Qwen2.5-7B
7B • Qwen 2
FP16+ 対応
FP16
15.21 GB
FP8
7.96 GB
INT4
4.33 GB
~118 tok/s (FP16)詳細計算を開く
Qwen2-7B
7B • Qwen 2
FP16+ 対応
FP16
15.21 GB
FP8
7.96 GB
INT4
4.33 GB
~118 tok/s (FP16)詳細計算を開く
Qwen3-4B
4B • Qwen 3
FP16+ 対応
FP16
9 GB
FP8
4.72 GB
INT4
2.58 GB
~206 tok/s (FP16)詳細計算を開く
Qwen2.5-3B
3B • Qwen 2
FP16+ 対応
FP16
6.57 GB
FP8
3.46 GB
INT4
1.91 GB
~275 tok/s (FP16)詳細計算を開く
Qwen2.5-1.5B
1.5B • Qwen 2
FP16+ 対応
FP16
3.49 GB
FP8
1.89 GB
INT4
1.1 GB
~550 tok/s (FP16)詳細計算を開く
Qwen2.5-0.5B
0.5B • Qwen 2
FP16+ 対応
FP16
1.36 GB
FP8
0.83 GB
INT4
0.57 GB
~1649 tok/s (FP16)詳細計算を開く
Qwen3-0.6B
0.6B • Qwen 3
FP16+ 対応
FP16
1.94 GB
FP8
1.12 GB
INT4
0.71 GB
~1374 tok/s (FP16)詳細計算を開く
Qwen3-1.7B
1.7B • Qwen 3
FP16+ 対応
FP16
4.14 GB
FP8
2.22 GB
INT4
1.26 GB
~485 tok/s (FP16)詳細計算を開く
Mistral-Large-Instruct-2407
123B • Mistral
INT4 対応
FP16
261.15 GB
FP8
136.77 GB
INT4
74.59 GB
~27 tok/s (INT4)詳細計算を開く
Mistral-Nemo-12B
12B • Mistral
FP16+ 対応
FP16
26.46 GB
FP8
13.83 GB
INT4
7.52 GB
~69 tok/s (FP16)詳細計算を開く
Mistral-7B-v0.3
7B • Mistral
FP16+ 対応
FP16
15.71 GB
FP8
8.21 GB
INT4
4.46 GB
~118 tok/s (FP16)詳細計算を開く
Mixtral-8x7BMoE 12.9B
46.7B • Mixtral
FP8+ 対応
FP16
95.7 GB
FP8
48.5 GB
INT4
24.9 GB
~128 tok/s (FP8)詳細計算を開く
Mixtral-8x22BMoE 39B
141B • Mixtral
INT4 対応
FP16
287.68 GB
FP8
145.81 GB
INT4
74.87 GB
~85 tok/s (INT4)詳細計算を開く
Gemma-2-27B
27B • Gemma
FP16+ 対応
FP16
59.6 GB
FP8
31.16 GB
INT4
16.94 GB
~31 tok/s (FP16)詳細計算を開く
Gemma-2-9B
9B • Gemma
FP16+ 対応
FP16
21.53 GB
FP8
11.22 GB
INT4
6.06 GB
~92 tok/s (FP16)詳細計算を開く
Gemma-2-2B
2B • Gemma
FP16+ 対応
FP16
5.11 GB
FP8
2.71 GB
INT4
1.5 GB
~412 tok/s (FP16)詳細計算を開く
Phi-3.5-MoEMoE 6.6B
42B • Phi
FP8+ 対応
FP16
85.67 GB
FP8
43.17 GB
INT4
21.92 GB
~250 tok/s (FP8)詳細計算を開く
Phi-3-14B
14B • Phi
FP16+ 対応
FP16
30.97 GB
FP8
16.19 GB
INT4
8.8 GB
~59 tok/s (FP16)詳細計算を開く
Phi-3-7B
7B • Phi
FP16+ 対応
FP16
15.71 GB
FP8
8.21 GB
INT4
4.46 GB
~118 tok/s (FP16)詳細計算を開く
Phi-3-3.8B
3.8B • Phi
FP16+ 対応
FP16
11.02 GB
FP8
5.72 GB
INT4
3.07 GB
~217 tok/s (FP16)詳細計算を開く
CodeLlama-34B
34B • CodeLlama
FP16+ 対応
FP16
72.93 GB
FP8
38.18 GB
INT4
20.8 GB
~24 tok/s (FP16)詳細計算を開く
CodeLlama-13B
13B • CodeLlama
FP16+ 対応
FP16
33.56 GB
FP8
17.44 GB
INT4
9.37 GB
~63 tok/s (FP16)詳細計算を開く
CodeLlama-7B
7B • CodeLlama
FP16+ 対応
FP16
18.71 GB
FP8
9.71 GB
INT4
5.21 GB
~118 tok/s (FP16)詳細計算を開く
GLM-4.5-AirMoE 12B
106B • GLM-4
INT4 対応
FP16
217.73 GB
FP8
110.48 GB
INT4
56.85 GB
~103 tok/s (INT4)詳細計算を開く
GLM-4.5-Air-BaseMoE 12B
106B • GLM-4
INT4 対応
FP16
217.73 GB
FP8
110.48 GB
INT4
56.85 GB
~103 tok/s (INT4)詳細計算を開く
GLM-4.7-FlashMoE 3B
30B • GLM-4
FP16+ 対応
FP16
66.1 GB
FP8
34.66 GB
INT4
18.94 GB
~26 tok/s (FP16)詳細計算を開く
GPT-OSS-120BMoE 5.1B
117B • GPT-OSS
INT4 対応
FP16
235.65 GB
FP8
118.09 GB
INT4
59.31 GB
~647 tok/s (INT4)詳細計算を開く
GPT-OSS-20BMoE 3.6B
21B • GPT-OSS
FP16+ 対応
FP16
43.15 GB
FP8
21.78 GB
INT4
11.09 GB
~229 tok/s (FP16)詳細計算を開く

NVIDIA A100 (80GB) 1x / 2x / 4x 構成 LLM 互換マトリクス

8Kコンテキスト・バッチサイズ1条件での事前検証結果。

LLM モデルFP8 必要 VRAM1× (80GB)2× (160GB)4× (320GB)
DeepSeek-R1(671B)675 GBNeeds 5×Needs 5×Needs 5×
DeepSeek-R1-Distill-Qwen-32B(32B)36 GBFP16 / FP8 / INT4FP16 / FP8 / INT4FP16 / FP8 / INT4
Llama 4 Scout(109B)111.21 GBINT4FP8 / INT4FP16 / FP8 / INT4
Llama 3.1 8B(8B)9.31 GBFP16 / FP8 / INT4FP16 / FP8 / INT4FP16 / FP8 / INT4
Llama 3.1 70B(70B)78.31 GBFP8 / INT4FP16 / FP8 / INT4FP16 / FP8 / INT4
Qwen3-235B-A22B(235B)237.95 GBNeeds 2×INT4FP8 / INT4
Qwen3-32B(32B)36.23 GBFP16 / FP8 / INT4FP16 / FP8 / INT4FP16 / FP8 / INT4
Qwen3-14B(14B)16.04 GBFP16 / FP8 / INT4FP16 / FP8 / INT4FP16 / FP8 / INT4
Mixtral-8x7B(46.7B)48.5 GBFP8 / INT4FP16 / FP8 / INT4FP16 / FP8 / INT4
GPT-OSS-20B(21B)21.78 GBFP16 / FP8 / INT4FP16 / FP8 / INT4FP16 / FP8 / INT4

全 22 GPU 専用互換ガイド一覧

NVIDIA A100 (80GB) ローカル推論 FAQ

tools.gpuCompatibility.gpuDetail.faq.q1▾
単枚 80GB の VRAM により、8Kコンテキスト環境下で主要ベンチマークのうち 61 モデルを FP16・FP8・INT4 でローカル起動できます。
NVIDIA A100 (80GB) のトークン生成速度の目安は?▾
1940 GB/sの帯域幅と80GBメモリにより、出力速度は1トークンあたりに読み込むアクティブ重み量に反比例して決まります。
2枚または4枚の NVIDIA A100 (80GB) が必要になるのはいつですか?▾
重みとKVキャッシュの合計が80GBを超える場合や、高並列リクエストを処理したい場合にマルチGPU並列構成が必須となります。

関連する LLM・GPU ツールを探索

全ツールとディレクトリを見る →