显卡 LLM 模型兼容查询器

选择你的 GPU 型号、卡数与上下文长度,一键筛查 30+ 开源大模型中哪些能跑得动及预估速度。

总可用显存
24 GB
总显存带宽
1,008 GB/s
支持 FP16 / FP8
22
支持 INT4 量化
44 / 85
DeepSeek-R1-Distill-Qwen-32B
32B • DeepSeek
支持 INT4
FP16
68.27 GB
FP8
36 GB
INT4
19.86 GB
~46 tok/s (INT4)进入显存计算详情
DeepSeek-R1-Distill-Qwen-14B
14B • DeepSeek
支持 FP8+
FP16
32.27 GB
FP8
18 GB
INT4
10.86 GB
DeepSeek-R1-Distill-Qwen-7B
7B • DeepSeek
支持 FP16+
FP16
18.27 GB
FP8
11 GB
INT4
7.36 GB
~12 tok/s (FP16)进入显存计算详情
DeepSeek-R1-Distill-Qwen-1.5B
1.5B • DeepSeek
支持 FP16+
FP16
7.27 GB
FP8
5.5 GB
INT4
4.61 GB
~12 tok/s (FP16)进入显存计算详情
DeepSeek-R1-Distill-Llama-8B
8B • DeepSeek
支持 FP16+
FP16
20.27 GB
FP8
12 GB
INT4
7.86 GB
~12 tok/s (FP16)进入显存计算详情
Llama 3 8B
8B • Llama 3
支持 FP16+
FP16
17.81 GB
FP8
9.31 GB
INT4
5.06 GB
~54 tok/s (FP16)进入显存计算详情
Llama 3.1 8B
8B • Llama 3
支持 FP16+
FP16
17.81 GB
FP8
9.31 GB
INT4
5.06 GB
~54 tok/s (FP16)进入显存计算详情
Llama 3.2 1B
1B • Llama 3
支持 FP16+
FP16
2.55 GB
FP8
1.43 GB
INT4
0.86 GB
~428 tok/s (FP16)进入显存计算详情
Llama 3.2 3B
3B • Llama 3
支持 FP16+
FP16
7.23 GB
FP8
3.79 GB
INT4
2.07 GB
~143 tok/s (FP16)进入显存计算详情
Llama 3.2 11B
11B • Llama 3
支持 FP8+
FP16
24.11 GB
FP8
12.61 GB
INT4
6.86 GB
Qwen3.5-35B-A3BMoE 3B
35B • Qwen 3.5
支持 INT4
FP16
70.98 GB
FP8
35.66 GB
INT4
18.01 GB
~571 tok/s (INT4)进入显存计算详情
Qwen3.5-27B
27B • Qwen 3.5
支持 INT4
FP16
59.22 GB
FP8
30.97 GB
INT4
16.85 GB
~63 tok/s (INT4)进入显存计算详情
Qwen QwQ-32B
32B • Qwen QwQ
支持 INT4
FP16
69.1 GB
FP8
36.16 GB
INT4
19.69 GB
~54 tok/s (INT4)进入显存计算详情
Qwen2.5-Coder-32B
32B • Qwen 2
支持 INT4
FP16
69.1 GB
FP8
36.16 GB
INT4
19.69 GB
~54 tok/s (INT4)进入显存计算详情
Qwen3-32B
32B • Qwen 3
支持 INT4
FP16
69.23 GB
FP8
36.23 GB
INT4
19.73 GB
~54 tok/s (INT4)进入显存计算详情
Qwen2.5-32B
32B • Qwen 2
支持 INT4
FP16
69.1 GB
FP8
36.16 GB
INT4
19.69 GB
~54 tok/s (INT4)进入显存计算详情
Qwen2-32B
32B • Qwen 2
支持 INT4
FP16
69.1 GB
FP8
36.16 GB
INT4
19.69 GB
~54 tok/s (INT4)进入显存计算详情
Qwen3-30B-A3BMoE 3B
30B • Qwen 3
支持 INT4
FP16
61.1 GB
FP8
30.73 GB
INT4
15.54 GB
~571 tok/s (INT4)进入显存计算详情
Qwen2.5-14B
14B • Qwen 2
支持 FP8+
FP16
30.66 GB
FP8
16.04 GB
INT4
8.72 GB
Qwen3-14B
14B • Qwen 3
支持 FP8+
FP16
30.66 GB
FP8
16.04 GB
INT4
8.72 GB
Qwen2-14B
14B • Qwen 2
支持 FP8+
FP16
30.66 GB
FP8
16.04 GB
INT4
8.72 GB
Qwen3-8B
8B • Qwen 3
支持 FP16+
FP16
17.93 GB
FP8
9.37 GB
INT4
5.09 GB
~54 tok/s (FP16)进入显存计算详情
Qwen2.5-7B
7B • Qwen 2
支持 FP16+
FP16
15.21 GB
FP8
7.96 GB
INT4
4.33 GB
~61 tok/s (FP16)进入显存计算详情
Qwen2-7B
7B • Qwen 2
支持 FP16+
FP16
15.21 GB
FP8
7.96 GB
INT4
4.33 GB
~61 tok/s (FP16)进入显存计算详情
Qwen3-4B
4B • Qwen 3
支持 FP16+
FP16
9 GB
FP8
4.72 GB
INT4
2.58 GB
~107 tok/s (FP16)进入显存计算详情
Qwen2.5-3B
3B • Qwen 2
支持 FP16+
FP16
6.57 GB
FP8
3.46 GB
INT4
1.91 GB
~143 tok/s (FP16)进入显存计算详情
Qwen2.5-1.5B
1.5B • Qwen 2
支持 FP16+
FP16
3.49 GB
FP8
1.89 GB
INT4
1.1 GB
~286 tok/s (FP16)进入显存计算详情
Qwen2.5-0.5B
0.5B • Qwen 2
支持 FP16+
FP16
1.36 GB
FP8
0.83 GB
INT4
0.57 GB
~857 tok/s (FP16)进入显存计算详情
Qwen3-0.6B
0.6B • Qwen 3
支持 FP16+
FP16
1.94 GB
FP8
1.12 GB
INT4
0.71 GB
~714 tok/s (FP16)进入显存计算详情
Qwen3-1.7B
1.7B • Qwen 3
支持 FP16+
FP16
4.14 GB
FP8
2.22 GB
INT4
1.26 GB
~252 tok/s (FP16)进入显存计算详情
Mistral-Nemo-12B
12B • Mistral
支持 FP8+
FP16
26.46 GB
FP8
13.83 GB
INT4
7.52 GB
Mistral-7B-v0.3
7B • Mistral
支持 FP16+
FP16
15.71 GB
FP8
8.21 GB
INT4
4.46 GB
~61 tok/s (FP16)进入显存计算详情
Gemma-2-27B
27B • Gemma
支持 INT4
FP16
59.6 GB
FP8
31.16 GB
INT4
16.94 GB
~63 tok/s (INT4)进入显存计算详情
Gemma-2-9B
9B • Gemma
支持 FP16+
FP16
21.53 GB
FP8
11.22 GB
INT4
6.06 GB
~48 tok/s (FP16)进入显存计算详情
Gemma-2-2B
2B • Gemma
支持 FP16+
FP16
5.11 GB
FP8
2.71 GB
INT4
1.5 GB
~214 tok/s (FP16)进入显存计算详情
Phi-3.5-MoEMoE 6.6B
42B • Phi
支持 INT4
FP16
85.67 GB
FP8
43.17 GB
INT4
21.92 GB
~260 tok/s (INT4)进入显存计算详情
Phi-3-14B
14B • Phi
支持 FP8+
FP16
30.97 GB
FP8
16.19 GB
INT4
8.8 GB
Phi-3-7B
7B • Phi
支持 FP16+
FP16
15.71 GB
FP8
8.21 GB
INT4
4.46 GB
~61 tok/s (FP16)进入显存计算详情
Phi-3-3.8B
3.8B • Phi
支持 FP16+
FP16
11.02 GB
FP8
5.72 GB
INT4
3.07 GB
~113 tok/s (FP16)进入显存计算详情
CodeLlama-34B
34B • CodeLlama
支持 INT4
FP16
72.93 GB
FP8
38.18 GB
INT4
20.8 GB
~50 tok/s (INT4)进入显存计算详情
CodeLlama-13B
13B • CodeLlama
支持 FP8+
FP16
33.56 GB
FP8
17.44 GB
INT4
9.37 GB
CodeLlama-7B
7B • CodeLlama
支持 FP16+
FP16
18.71 GB
FP8
9.71 GB
INT4
5.21 GB
~61 tok/s (FP16)进入显存计算详情
GLM-4.7-FlashMoE 3B
30B • GLM-4
支持 INT4
FP16
66.1 GB
FP8
34.66 GB
INT4
18.94 GB
~54 tok/s (INT4)进入显存计算详情
GPT-OSS-20BMoE 3.6B
21B • GPT-OSS
支持 FP8+
FP16
43.15 GB
FP8
21.78 GB
INT4
11.09 GB
~238 tok/s (FP8)进入显存计算详情

22 款热门显卡专属兼容性指南

显卡与本地部署兼容性常见问题

单张 24GB 显存的 RTX 4090 / 3090 能跑多大的模型?▾
在 8K 上下文与 INT4 量化下,24GB 显卡可流畅运行 7B-14B 稠密模型及 Qwen3-30B-A3B、GPT-OSS-20B 等 MoE 模型;32B 模型(如 QwQ-32B / Qwen3-32B)在适中上下文下也可单卡跑通。
为什么显存带宽与显存容量同样决定生成速度?▾
单用户自回归文本生成属于典型的带宽受限任务。例如 RTX 5090 (1792 GB/s) 的带宽约为 RTX 4090 (1008 GB/s) 的 1.8 倍,同模型单流输出也会快接近一倍。
Mac 统一内存(M4 Max / M3 Ultra)与独立 GPU 如何取舍?▾
个人或 1-2 人极客开发场景,128GB M4 Max 或 192GB M3 Ultra 能低功耗装下 70B-235B 量化模型;但一旦面对 16 并发以上生产请求,NVIDIA H100/H200 的 Tensor Core 吞吐高出一个数量级。
拉高上下文长度会让本来能跑的模型爆显存吗?▾
会的。将上下文从 8K 拉升至 128K 会让 KV Cache 体积成倍膨胀,务必利用上方的「上下文长度」开关提前验证可用余量。

探索更多 LLM 与 GPU 工具

查看全部 AI 工具与目录 →