Какие LLM запустит NVIDIA RTX 4080 SUPER (16GB)?
Справочник совместимости NVIDIA RTX 4080 SUPER: 16 ГБ видеопамяти и 736.3 ГБ/с пропускной способности.
Характеристики NVIDIA RTX 4080 SUPER
VRAM на карту
16 GB
ПСП памяти
736.3 GB/s
Мощность FP16
52.2 TFLOPS
Архитектура
Ada Lovelace
Год выхода
2024
Доступная VRAM
16 GB
Пропускная способность
736.3 GB/s
Поместятся FP16/FP8
15
С учётом INT4
32 / 85
DeepSeek-R1-Distill-Qwen-14B
14B • DeepSeek
FP16
32.27 GB
FP8
18 GB
INT4
10.86 GB
~34 tok/s (INT4)Открыть калькулятор
DeepSeek-R1-Distill-Qwen-7B
7B • DeepSeek
FP16
18.27 GB
FP8
11 GB
INT4
7.36 GB
~17 tok/s (FP8)Открыть калькулятор
DeepSeek-R1-Distill-Qwen-1.5B
1.5B • DeepSeek
FP16
7.27 GB
FP8
5.5 GB
INT4
4.61 GB
~8 tok/s (FP16)Открыть калькулятор
DeepSeek-R1-Distill-Llama-8B
8B • DeepSeek
FP16
20.27 GB
FP8
12 GB
INT4
7.86 GB
~17 tok/s (FP8)Открыть калькулятор
Llama 3 8B
8B • Llama 3
FP16
17.81 GB
FP8
9.31 GB
INT4
5.06 GB
~78 tok/s (FP8)Открыть калькулятор
Llama 3.1 8B
8B • Llama 3
FP16
17.81 GB
FP8
9.31 GB
INT4
5.06 GB
~78 tok/s (FP8)Открыть калькулятор
Llama 3.2 1B
1B • Llama 3
FP16
2.55 GB
FP8
1.43 GB
INT4
0.86 GB
~313 tok/s (FP16)Открыть калькулятор
Llama 3.2 3B
3B • Llama 3
FP16
7.23 GB
FP8
3.79 GB
INT4
2.07 GB
~104 tok/s (FP16)Открыть калькулятор
Llama 3.2 11B
11B • Llama 3
FP16
24.11 GB
FP8
12.61 GB
INT4
6.86 GB
~57 tok/s (FP8)Открыть калькулятор
Qwen3-30B-A3BMoE 3B
30B • Qwen 3
FP16
61.1 GB
FP8
30.73 GB
INT4
15.54 GB
~417 tok/s (INT4)Открыть калькулятор
Qwen2.5-14B
14B • Qwen 2
FP16
30.66 GB
FP8
16.04 GB
INT4
8.72 GB
~89 tok/s (INT4)Открыть калькулятор
Qwen3-14B
14B • Qwen 3
FP16
30.66 GB
FP8
16.04 GB
INT4
8.72 GB
~89 tok/s (INT4)Открыть калькулятор
Qwen2-14B
14B • Qwen 2
FP16
30.66 GB
FP8
16.04 GB
INT4
8.72 GB
~89 tok/s (INT4)Открыть калькулятор
Qwen2.5-7B
7B • Qwen 2
FP16
15.21 GB
FP8
7.96 GB
INT4
4.33 GB
~45 tok/s (FP16)Открыть калькулятор
Qwen2-7B
7B • Qwen 2
FP16
15.21 GB
FP8
7.96 GB
INT4
4.33 GB
~45 tok/s (FP16)Открыть калькулятор
Qwen2.5-3B
3B • Qwen 2
FP16
6.57 GB
FP8
3.46 GB
INT4
1.91 GB
~104 tok/s (FP16)Открыть калькулятор
Qwen2.5-1.5B
1.5B • Qwen 2
FP16
3.49 GB
FP8
1.89 GB
INT4
1.1 GB
~209 tok/s (FP16)Открыть калькулятор
Qwen2.5-0.5B
0.5B • Qwen 2
FP16
1.36 GB
FP8
0.83 GB
INT4
0.57 GB
~626 tok/s (FP16)Открыть калькулятор
Qwen3-0.6B
0.6B • Qwen 3
FP16
1.94 GB
FP8
1.12 GB
INT4
0.71 GB
~522 tok/s (FP16)Открыть калькулятор
Qwen3-1.7B
1.7B • Qwen 3
FP16
4.14 GB
FP8
2.22 GB
INT4
1.26 GB
~184 tok/s (FP16)Открыть калькулятор
Mistral-Nemo-12B
12B • Mistral
FP16
26.46 GB
FP8
13.83 GB
INT4
7.52 GB
~52 tok/s (FP8)Открыть калькулятор
Mistral-7B-v0.3
7B • Mistral
FP16
15.71 GB
FP8
8.21 GB
INT4
4.46 GB
~45 tok/s (FP16)Открыть калькулятор
Gemma-2-9B
9B • Gemma
FP16
21.53 GB
FP8
11.22 GB
INT4
6.06 GB
~70 tok/s (FP8)Открыть калькулятор
Gemma-2-2B
2B • Gemma
FP16
5.11 GB
FP8
2.71 GB
INT4
1.5 GB
~156 tok/s (FP16)Открыть калькулятор
Phi-3-3.8B
3.8B • Phi
FP16
11.02 GB
FP8
5.72 GB
INT4
3.07 GB
~82 tok/s (FP16)Открыть калькулятор
CodeLlama-13B
13B • CodeLlama
FP16
33.56 GB
FP8
17.44 GB
INT4
9.37 GB
~96 tok/s (INT4)Открыть калькулятор
CodeLlama-7B
7B • CodeLlama
FP16
18.71 GB
FP8
9.71 GB
INT4
5.21 GB
~89 tok/s (FP8)Открыть калькулятор
GPT-OSS-20BMoE 3.6B
21B • GPT-OSS
FP16
43.15 GB
FP8
21.78 GB
INT4
11.09 GB
~348 tok/s (INT4)Открыть калькулятор
Матрица совместимости NVIDIA RTX 4080 SUPER (1x / 2x / 4x GPU)
Предрасчёт при контексте 8K и batch=1 для ключевых открытых моделей.
| Модель LLM | FP8 VRAM | 1× (16GB) | 2× (32GB) | 4× (64GB) |
|---|---|---|---|---|
| DeepSeek-R1(671B) | 675 GB | Needs 22× | Needs 22× | Needs 22× |
| DeepSeek-R1-Distill-Qwen-32B(32B) | 36 GB | Needs 2× | INT4 | FP8 / INT4 |
| Llama 4 Scout(109B) | 111.21 GB | Needs 4× | Needs 4× | INT4 |
| Llama 3.1 8B(8B) | 9.31 GB | FP8 / INT4 | FP16 / FP8 / INT4 | FP16 / FP8 / INT4 |
| Llama 3.1 70B(70B) | 78.31 GB | Needs 3× | Needs 3× | INT4 |
| Qwen3-235B-A22B(235B) | 237.95 GB | Needs 8× | Needs 8× | Needs 8× |
| Qwen3-32B(32B) | 36.23 GB | Needs 2× | INT4 | FP8 / INT4 |
| Qwen3-14B(14B) | 16.04 GB | INT4 | FP16 / FP8 / INT4 | FP16 / FP8 / INT4 |
| Mixtral-8x7B(46.7B) | 48.5 GB | Needs 2× | INT4 | FP8 / INT4 |
| GPT-OSS-20B(21B) | 21.78 GB | INT4 | FP8 / INT4 | FP16 / FP8 / INT4 |
Подробные руководства по всем 22 GPU
NVIDIA RTX 5090 (32GB)NVIDIA RTX 5080 (16GB)NVIDIA RTX 5070 Ti (16GB)NVIDIA RTX 4090 (24GB)NVIDIA RTX 4080 SUPER (16GB)NVIDIA RTX 4070 Ti Super (16GB)NVIDIA RTX 4060 Ti (16GB)NVIDIA RTX 3090 (24GB)AMD Radeon RX 7900 XTX (24GB)NVIDIA RTX PRO 6000 Blackwell (96GB)Apple M4 Max (128GB)Apple M4 Max (64GB)Apple M4 Pro (48GB)Apple M3 Ultra (192GB)NVIDIA B200 (192GB)NVIDIA H200 (141GB)NVIDIA H100 (80GB)NVIDIA H20 (96GB)NVIDIA A100 (80GB)NVIDIA L40S (48GB)AMD Instinct MI300X (192GB)Huawei Ascend 910B (64GB)
Вопросы по запуску LLM на NVIDIA RTX 4080 SUPER
tools.gpuCompatibility.gpuDetail.faq.q1▾
С объёмом 16 ГБ на одной карте NVIDIA RTX 4080 SUPER в нашей базе доступно 32 моделей для запуска в FP16, FP8 или INT4 при контексте 8K.
Какую скорость генерации обеспечивает NVIDIA RTX 4080 SUPER?▾
При пропускной способности 736.3 ГБ/с скорость генерации обратно пропорциональна объёму активных весов, считываемых на каждый токен.
Когда требуется объединять 2x или 4x NVIDIA RTX 4080 SUPER?▾
Тензорный параллелизм на 2–4 картах нужен, когда сумма весов и KV-кэша превышает 16 ГБ или обслуживается много пользователей одновременно.
Другие инструменты LLM и GPU
Весь каталог ИИ-инструментов →Калькуляторы VRAM по моделям
DeepSeek-R1 (671B)DeepSeek-V3 (671B)DeepSeek-V4-Pro (1.6T)DeepSeek-V4-Flash (284B)DeepSeek-R1-Distill-Qwen-32BDeepSeek-R1-Distill-Qwen-14BDeepSeek-R1-Distill-Qwen-7BDeepSeek-R1-Distill-Llama-70BLlama 4 Maverick (400B)Llama 4 Scout (109B)Llama 3.1 405BLlama 3.1 70BLlama 3.1 8BLlama 3.2 3BQwen3.5-397B-A17BQwen3-235B-A22BQwen3-Coder-480B-A35BQwen3-32B
Совместимость видеокарт
NVIDIA RTX 5090 (32GB)NVIDIA RTX 5080 (16GB)NVIDIA RTX 5070 Ti (16GB)NVIDIA RTX 4090 (24GB)NVIDIA RTX 4080 SUPER (16GB)NVIDIA RTX 4070 Ti Super (16GB)NVIDIA RTX 4060 Ti (16GB)NVIDIA RTX 3090 (24GB)AMD Radeon RX 7900 XTX (24GB)NVIDIA RTX PRO 6000 Blackwell (96GB)Apple M4 Max (128GB)Apple M4 Max (64GB)Apple M4 Pro (48GB)Apple M3 Ultra (192GB)