NVIDIA RTX 4090 (24GB) 能运行哪些 LLM 大模型?
NVIDIA RTX 4090(24GB 显存 / 1008 GB/s 带宽)单卡与多卡并行推理支持清单与速率估算。
NVIDIA RTX 4090 核心硬件参数
单卡显存
24 GB
显存带宽
1008 GB/s
FP16 算力
82.58 TFLOPS
微架构
Ada Lovelace
发布年份
2022
总可用显存
24 GB
总显存带宽
1,008 GB/s
支持 FP16 / FP8
22
支持 INT4 量化
44 / 85
DeepSeek-R1-Distill-Qwen-32B
32B • DeepSeek
FP16
68.27 GB
FP8
36 GB
INT4
19.86 GB
~46 tok/s (INT4)进入显存计算详情
DeepSeek-R1-Distill-Qwen-14B
14B • DeepSeek
FP16
32.27 GB
FP8
18 GB
INT4
10.86 GB
~23 tok/s (FP8)进入显存计算详情
DeepSeek-R1-Distill-Qwen-7B
7B • DeepSeek
FP16
18.27 GB
FP8
11 GB
INT4
7.36 GB
~12 tok/s (FP16)进入显存计算详情
DeepSeek-R1-Distill-Qwen-1.5B
1.5B • DeepSeek
FP16
7.27 GB
FP8
5.5 GB
INT4
4.61 GB
~12 tok/s (FP16)进入显存计算详情
DeepSeek-R1-Distill-Llama-8B
8B • DeepSeek
FP16
20.27 GB
FP8
12 GB
INT4
7.86 GB
~12 tok/s (FP16)进入显存计算详情
Qwen3.5-35B-A3BMoE 3B
35B • Qwen 3.5
FP16
70.98 GB
FP8
35.66 GB
INT4
18.01 GB
~571 tok/s (INT4)进入显存计算详情
NVIDIA RTX 4090 1x / 2x / 4x 多卡模型兼容性总表
按 8K 上下文、单并发条件对热门开源基准模型进行预先核算。
| 大模型名称 | FP8 所需显存 | 1× (24GB) | 2× (48GB) | 4× (96GB) |
|---|---|---|---|---|
| DeepSeek-R1(671B) | 675 GB | Needs 15× | Needs 15× | Needs 15× |
| DeepSeek-R1-Distill-Qwen-32B(32B) | 36 GB | INT4 | FP8 / INT4 | FP16 / FP8 / INT4 |
| Llama 4 Scout(109B) | 111.21 GB | Needs 3× | Needs 3× | INT4 |
| Llama 3.1 8B(8B) | 9.31 GB | FP16 / FP8 / INT4 | FP16 / FP8 / INT4 | FP16 / FP8 / INT4 |
| Llama 3.1 70B(70B) | 78.31 GB | Needs 2× | INT4 | FP8 / INT4 |
| Qwen3-235B-A22B(235B) | 237.95 GB | Needs 6× | Needs 6× | Needs 6× |
| Qwen3-32B(32B) | 36.23 GB | INT4 | FP8 / INT4 | FP16 / FP8 / INT4 |
| Qwen3-14B(14B) | 16.04 GB | FP8 / INT4 | FP16 / FP8 / INT4 | FP16 / FP8 / INT4 |
| Mixtral-8x7B(46.7B) | 48.5 GB | Needs 2× | INT4 | FP16 / FP8 / INT4 |
| GPT-OSS-20B(21B) | 21.78 GB | FP8 / INT4 | FP16 / FP8 / INT4 | FP16 / FP8 / INT4 |
22 款热门显卡专属兼容性指南
NVIDIA RTX 5090 (32GB)NVIDIA RTX 5080 (16GB)NVIDIA RTX 5070 Ti (16GB)NVIDIA RTX 4090 (24GB)NVIDIA RTX 4080 SUPER (16GB)NVIDIA RTX 4070 Ti Super (16GB)NVIDIA RTX 4060 Ti (16GB)NVIDIA RTX 3090 (24GB)AMD Radeon RX 7900 XTX (24GB)NVIDIA RTX PRO 6000 Blackwell (96GB)Apple M4 Max (128GB)Apple M4 Max (64GB)Apple M4 Pro (48GB)Apple M3 Ultra (192GB)NVIDIA B200 (192GB)NVIDIA H200 (141GB)NVIDIA H100 (80GB)NVIDIA H20 (96GB)NVIDIA A100 (80GB)NVIDIA L40S (48GB)AMD Instinct MI300X (192GB)Huawei Ascend 910B (64GB)
NVIDIA RTX 4090 部署常见问答
tools.gpuCompatibility.gpuDetail.faq.q1▾
凭借单卡 24GB 显存,在 8K 上下文与量化支持下,当前基准清单中有 44 款主流大模型可直接单卡运行。
NVIDIA RTX 4090 的推理生成速度大概处在什么水平?▾
NVIDIA RTX 4090 拥有 1008 GB/s 带宽与 24GB 内存,单并发解码速度与每次生成 token 所需读取的激活权重体积直接成反比。
什么时候需要扩展到 2 张或 4 张 NVIDIA RTX 4090?▾
当目标模型权重与高并发 KV Cache 合计超出单卡 24GB 上限时,需开启双卡或四卡张量并行拆分模型。
探索更多 LLM 与 GPU 工具
查看全部 AI 工具与目录 →热门大模型显存计算专页
DeepSeek-R1 (671B)DeepSeek-V3 (671B)DeepSeek-V4-Pro (1.6T)DeepSeek-V4-Flash (284B)DeepSeek-R1-Distill-Qwen-32BDeepSeek-R1-Distill-Qwen-14BDeepSeek-R1-Distill-Qwen-7BDeepSeek-R1-Distill-Llama-70BLlama 4 Maverick (400B)Llama 4 Scout (109B)Llama 3.1 405BLlama 3.1 70BLlama 3.1 8BLlama 3.2 3BQwen3.5-397B-A17BQwen3-235B-A22BQwen3-Coder-480B-A35BQwen3-32B
热门显卡兼容性指南
NVIDIA RTX 5090 (32GB)NVIDIA RTX 5080 (16GB)NVIDIA RTX 5070 Ti (16GB)NVIDIA RTX 4090 (24GB)NVIDIA RTX 4080 SUPER (16GB)NVIDIA RTX 4070 Ti Super (16GB)NVIDIA RTX 4060 Ti (16GB)NVIDIA RTX 3090 (24GB)AMD Radeon RX 7900 XTX (24GB)NVIDIA RTX PRO 6000 Blackwell (96GB)Apple M4 Max (128GB)Apple M4 Max (64GB)Apple M4 Pro (48GB)Apple M3 Ultra (192GB)