显卡 LLM 模型兼容查询器
选择你的 GPU 型号、卡数与上下文长度,一键筛查 30+ 开源大模型中哪些能跑得动及预估速度。
总可用显存
24 GB
总显存带宽
1,008 GB/s
支持 FP16 / FP8
22
支持 INT4 量化
44 / 85
DeepSeek-R1-Distill-Qwen-32B
32B • DeepSeek
FP16
68.27 GB
FP8
36 GB
INT4
19.86 GB
~46 tok/s (INT4)进入显存计算详情
DeepSeek-R1-Distill-Qwen-14B
14B • DeepSeek
FP16
32.27 GB
FP8
18 GB
INT4
10.86 GB
~23 tok/s (FP8)进入显存计算详情
DeepSeek-R1-Distill-Qwen-7B
7B • DeepSeek
FP16
18.27 GB
FP8
11 GB
INT4
7.36 GB
~12 tok/s (FP16)进入显存计算详情
DeepSeek-R1-Distill-Qwen-1.5B
1.5B • DeepSeek
FP16
7.27 GB
FP8
5.5 GB
INT4
4.61 GB
~12 tok/s (FP16)进入显存计算详情
DeepSeek-R1-Distill-Llama-8B
8B • DeepSeek
FP16
20.27 GB
FP8
12 GB
INT4
7.86 GB
~12 tok/s (FP16)进入显存计算详情
Qwen3.5-35B-A3BMoE 3B
35B • Qwen 3.5
FP16
70.98 GB
FP8
35.66 GB
INT4
18.01 GB
~571 tok/s (INT4)进入显存计算详情
22 款热门显卡专属兼容性指南
NVIDIA RTX 5090 (32GB)NVIDIA RTX 5080 (16GB)NVIDIA RTX 5070 Ti (16GB)NVIDIA RTX 4090 (24GB)NVIDIA RTX 4080 SUPER (16GB)NVIDIA RTX 4070 Ti Super (16GB)NVIDIA RTX 4060 Ti (16GB)NVIDIA RTX 3090 (24GB)AMD Radeon RX 7900 XTX (24GB)NVIDIA RTX PRO 6000 Blackwell (96GB)Apple M4 Max (128GB)Apple M4 Max (64GB)Apple M4 Pro (48GB)Apple M3 Ultra (192GB)NVIDIA B200 (192GB)NVIDIA H200 (141GB)NVIDIA H100 (80GB)NVIDIA H20 (96GB)NVIDIA A100 (80GB)NVIDIA L40S (48GB)AMD Instinct MI300X (192GB)Huawei Ascend 910B (64GB)
显卡与本地部署兼容性常见问题
单张 24GB 显存的 RTX 4090 / 3090 能跑多大的模型?▾
在 8K 上下文与 INT4 量化下,24GB 显卡可流畅运行 7B-14B 稠密模型及 Qwen3-30B-A3B、GPT-OSS-20B 等 MoE 模型;32B 模型(如 QwQ-32B / Qwen3-32B)在适中上下文下也可单卡跑通。
为什么显存带宽与显存容量同样决定生成速度?▾
单用户自回归文本生成属于典型的带宽受限任务。例如 RTX 5090 (1792 GB/s) 的带宽约为 RTX 4090 (1008 GB/s) 的 1.8 倍,同模型单流输出也会快接近一倍。
Mac 统一内存(M4 Max / M3 Ultra)与独立 GPU 如何取舍?▾
个人或 1-2 人极客开发场景,128GB M4 Max 或 192GB M3 Ultra 能低功耗装下 70B-235B 量化模型;但一旦面对 16 并发以上生产请求,NVIDIA H100/H200 的 Tensor Core 吞吐高出一个数量级。
拉高上下文长度会让本来能跑的模型爆显存吗?▾
会的。将上下文从 8K 拉升至 128K 会让 KV Cache 体积成倍膨胀,务必利用上方的「上下文长度」开关提前验证可用余量。
探索更多 LLM 与 GPU 工具
查看全部 AI 工具与目录 →热门大模型显存计算专页
DeepSeek-R1 (671B)DeepSeek-V3 (671B)DeepSeek-V4-Pro (1.6T)DeepSeek-V4-Flash (284B)DeepSeek-R1-Distill-Qwen-32BDeepSeek-R1-Distill-Qwen-14BDeepSeek-R1-Distill-Qwen-7BDeepSeek-R1-Distill-Llama-70BLlama 4 Maverick (400B)Llama 4 Scout (109B)Llama 3.1 405BLlama 3.1 70BLlama 3.1 8BLlama 3.2 3BQwen3.5-397B-A17BQwen3-235B-A22BQwen3-Coder-480B-A35BQwen3-32B
热门显卡兼容性指南
NVIDIA RTX 5090 (32GB)NVIDIA RTX 5080 (16GB)NVIDIA RTX 5070 Ti (16GB)NVIDIA RTX 4090 (24GB)NVIDIA RTX 4080 SUPER (16GB)NVIDIA RTX 4070 Ti Super (16GB)NVIDIA RTX 4060 Ti (16GB)NVIDIA RTX 3090 (24GB)AMD Radeon RX 7900 XTX (24GB)NVIDIA RTX PRO 6000 Blackwell (96GB)Apple M4 Max (128GB)Apple M4 Max (64GB)Apple M4 Pro (48GB)Apple M3 Ultra (192GB)