NVIDIA RTX 5070 Ti (16GB) 能运行哪些 LLM 大模型?

NVIDIA RTX 5070 Ti(16GB 显存 / 896 GB/s 带宽)单卡与多卡并行推理支持清单与速率估算。

NVIDIA RTX 5070 Ti 核心硬件参数

单卡显存
16 GB
显存带宽
896 GB/s
FP16 算力
43.94 TFLOPS
微架构
Blackwell
发布年份
2025
总可用显存
16 GB
总显存带宽
896 GB/s
支持 FP16 / FP8
15
支持 INT4 量化
32 / 85
DeepSeek-R1-Distill-Qwen-14B
14B • DeepSeek
支持 INT4
FP16
32.27 GB
FP8
18 GB
INT4
10.86 GB
~41 tok/s (INT4)进入显存计算详情
DeepSeek-R1-Distill-Qwen-7B
7B • DeepSeek
支持 FP8+
FP16
18.27 GB
FP8
11 GB
INT4
7.36 GB
DeepSeek-R1-Distill-Qwen-1.5B
1.5B • DeepSeek
支持 FP16+
FP16
7.27 GB
FP8
5.5 GB
INT4
4.61 GB
~10 tok/s (FP16)进入显存计算详情
DeepSeek-R1-Distill-Llama-8B
8B • DeepSeek
支持 FP8+
FP16
20.27 GB
FP8
12 GB
INT4
7.86 GB
Llama 3 8B
8B • Llama 3
支持 FP8+
FP16
17.81 GB
FP8
9.31 GB
INT4
5.06 GB
Llama 3.1 8B
8B • Llama 3
支持 FP8+
FP16
17.81 GB
FP8
9.31 GB
INT4
5.06 GB
Llama 3.2 1B
1B • Llama 3
支持 FP16+
FP16
2.55 GB
FP8
1.43 GB
INT4
0.86 GB
~381 tok/s (FP16)进入显存计算详情
Llama 3.2 3B
3B • Llama 3
支持 FP16+
FP16
7.23 GB
FP8
3.79 GB
INT4
2.07 GB
~127 tok/s (FP16)进入显存计算详情
Llama 3.2 11B
11B • Llama 3
支持 FP8+
FP16
24.11 GB
FP8
12.61 GB
INT4
6.86 GB
Qwen3-30B-A3BMoE 3B
30B • Qwen 3
支持 INT4
FP16
61.1 GB
FP8
30.73 GB
INT4
15.54 GB
~508 tok/s (INT4)进入显存计算详情
Qwen2.5-14B
14B • Qwen 2
支持 INT4
FP16
30.66 GB
FP8
16.04 GB
INT4
8.72 GB
~109 tok/s (INT4)进入显存计算详情
Qwen3-14B
14B • Qwen 3
支持 INT4
FP16
30.66 GB
FP8
16.04 GB
INT4
8.72 GB
~109 tok/s (INT4)进入显存计算详情
Qwen2-14B
14B • Qwen 2
支持 INT4
FP16
30.66 GB
FP8
16.04 GB
INT4
8.72 GB
~109 tok/s (INT4)进入显存计算详情
Qwen3-8B
8B • Qwen 3
支持 FP8+
FP16
17.93 GB
FP8
9.37 GB
INT4
5.09 GB
Qwen2.5-7B
7B • Qwen 2
支持 FP16+
FP16
15.21 GB
FP8
7.96 GB
INT4
4.33 GB
~54 tok/s (FP16)进入显存计算详情
Qwen2-7B
7B • Qwen 2
支持 FP16+
FP16
15.21 GB
FP8
7.96 GB
INT4
4.33 GB
~54 tok/s (FP16)进入显存计算详情
Qwen3-4B
4B • Qwen 3
支持 FP16+
FP16
9 GB
FP8
4.72 GB
INT4
2.58 GB
~95 tok/s (FP16)进入显存计算详情
Qwen2.5-3B
3B • Qwen 2
支持 FP16+
FP16
6.57 GB
FP8
3.46 GB
INT4
1.91 GB
~127 tok/s (FP16)进入显存计算详情
Qwen2.5-1.5B
1.5B • Qwen 2
支持 FP16+
FP16
3.49 GB
FP8
1.89 GB
INT4
1.1 GB
~254 tok/s (FP16)进入显存计算详情
Qwen2.5-0.5B
0.5B • Qwen 2
支持 FP16+
FP16
1.36 GB
FP8
0.83 GB
INT4
0.57 GB
~762 tok/s (FP16)进入显存计算详情
Qwen3-0.6B
0.6B • Qwen 3
支持 FP16+
FP16
1.94 GB
FP8
1.12 GB
INT4
0.71 GB
~635 tok/s (FP16)进入显存计算详情
Qwen3-1.7B
1.7B • Qwen 3
支持 FP16+
FP16
4.14 GB
FP8
2.22 GB
INT4
1.26 GB
~224 tok/s (FP16)进入显存计算详情
Mistral-Nemo-12B
12B • Mistral
支持 FP8+
FP16
26.46 GB
FP8
13.83 GB
INT4
7.52 GB
Mistral-7B-v0.3
7B • Mistral
支持 FP16+
FP16
15.71 GB
FP8
8.21 GB
INT4
4.46 GB
~54 tok/s (FP16)进入显存计算详情
Gemma-2-9B
9B • Gemma
支持 FP8+
FP16
21.53 GB
FP8
11.22 GB
INT4
6.06 GB
Gemma-2-2B
2B • Gemma
支持 FP16+
FP16
5.11 GB
FP8
2.71 GB
INT4
1.5 GB
~190 tok/s (FP16)进入显存计算详情
Phi-3-14B
14B • Phi
支持 INT4
FP16
30.97 GB
FP8
16.19 GB
INT4
8.8 GB
~109 tok/s (INT4)进入显存计算详情
Phi-3-7B
7B • Phi
支持 FP16+
FP16
15.71 GB
FP8
8.21 GB
INT4
4.46 GB
~54 tok/s (FP16)进入显存计算详情
Phi-3-3.8B
3.8B • Phi
支持 FP16+
FP16
11.02 GB
FP8
5.72 GB
INT4
3.07 GB
~100 tok/s (FP16)进入显存计算详情
CodeLlama-13B
13B • CodeLlama
支持 INT4
FP16
33.56 GB
FP8
17.44 GB
INT4
9.37 GB
~117 tok/s (INT4)进入显存计算详情
CodeLlama-7B
7B • CodeLlama
支持 FP8+
FP16
18.71 GB
FP8
9.71 GB
INT4
5.21 GB
~109 tok/s (FP8)进入显存计算详情
GPT-OSS-20BMoE 3.6B
21B • GPT-OSS
支持 INT4
FP16
43.15 GB
FP8
21.78 GB
INT4
11.09 GB
~423 tok/s (INT4)进入显存计算详情

NVIDIA RTX 5070 Ti 1x / 2x / 4x 多卡模型兼容性总表

按 8K 上下文、单并发条件对热门开源基准模型进行预先核算。

大模型名称FP8 所需显存1× (16GB)2× (32GB)4× (64GB)
DeepSeek-R1(671B)675 GBNeeds 22×Needs 22×Needs 22×
DeepSeek-R1-Distill-Qwen-32B(32B)36 GBNeeds 2×INT4FP8 / INT4
Llama 4 Scout(109B)111.21 GBNeeds 4×Needs 4×INT4
Llama 3.1 8B(8B)9.31 GBFP8 / INT4FP16 / FP8 / INT4FP16 / FP8 / INT4
Llama 3.1 70B(70B)78.31 GBNeeds 3×Needs 3×INT4
Qwen3-235B-A22B(235B)237.95 GBNeeds 8×Needs 8×Needs 8×
Qwen3-32B(32B)36.23 GBNeeds 2×INT4FP8 / INT4
Qwen3-14B(14B)16.04 GBINT4FP16 / FP8 / INT4FP16 / FP8 / INT4
Mixtral-8x7B(46.7B)48.5 GBNeeds 2×INT4FP8 / INT4
GPT-OSS-20B(21B)21.78 GBINT4FP8 / INT4FP16 / FP8 / INT4

22 款热门显卡专属兼容性指南

NVIDIA RTX 5070 Ti 部署常见问答

tools.gpuCompatibility.gpuDetail.faq.q1▾
凭借单卡 16GB 显存,在 8K 上下文与量化支持下,当前基准清单中有 32 款主流大模型可直接单卡运行。
NVIDIA RTX 5070 Ti 的推理生成速度大概处在什么水平?▾
NVIDIA RTX 5070 Ti 拥有 896 GB/s 带宽与 16GB 内存,单并发解码速度与每次生成 token 所需读取的激活权重体积直接成反比。
什么时候需要扩展到 2 张或 4 张 NVIDIA RTX 5070 Ti?▾
当目标模型权重与高并发 KV Cache 合计超出单卡 16GB 上限时,需开启双卡或四卡张量并行拆分模型。

探索更多 LLM 与 GPU 工具

查看全部 AI 工具与目录 →