Welche LLMs laufen auf der NVIDIA RTX 5080 (16GB)?
Hardware-Kompatibilitätsguide für NVIDIA RTX 5080: 16GB VRAM bei 960 GB/s Speicherbandbreite.
NVIDIA RTX 5080 Spezifikationen
VRAM / GPU
16 GB
Bandbreite
960 GB/s
FP16-Leistung
56.28 TFLOPS
Architektur
Blackwell
Erscheinungsjahr
2025
Verfügbarer VRAM
16 GB
Gesamtbandbreite
960 GB/s
Passt in FP16 / FP8
15
Passt mit INT4
32 / 85
DeepSeek-R1-Distill-Qwen-14B
14B • DeepSeek
FP16
32.27 GB
FP8
18 GB
INT4
10.86 GB
~44 tok/s (INT4)VRAM-Details öffnen
DeepSeek-R1-Distill-Qwen-7B
7B • DeepSeek
FP16
18.27 GB
FP8
11 GB
INT4
7.36 GB
~22 tok/s (FP8)VRAM-Details öffnen
DeepSeek-R1-Distill-Qwen-1.5B
1.5B • DeepSeek
FP16
7.27 GB
FP8
5.5 GB
INT4
4.61 GB
~11 tok/s (FP16)VRAM-Details öffnen
DeepSeek-R1-Distill-Llama-8B
8B • DeepSeek
FP16
20.27 GB
FP8
12 GB
INT4
7.86 GB
~22 tok/s (FP8)VRAM-Details öffnen
Llama 3 8B
8B • Llama 3
FP16
17.81 GB
FP8
9.31 GB
INT4
5.06 GB
~102 tok/s (FP8)VRAM-Details öffnen
Llama 3.1 8B
8B • Llama 3
FP16
17.81 GB
FP8
9.31 GB
INT4
5.06 GB
~102 tok/s (FP8)VRAM-Details öffnen
Llama 3.2 1B
1B • Llama 3
FP16
2.55 GB
FP8
1.43 GB
INT4
0.86 GB
~408 tok/s (FP16)VRAM-Details öffnen
Llama 3.2 3B
3B • Llama 3
FP16
7.23 GB
FP8
3.79 GB
INT4
2.07 GB
~136 tok/s (FP16)VRAM-Details öffnen
Llama 3.2 11B
11B • Llama 3
FP16
24.11 GB
FP8
12.61 GB
INT4
6.86 GB
~74 tok/s (FP8)VRAM-Details öffnen
Qwen3-30B-A3BMoE 3B
30B • Qwen 3
FP16
61.1 GB
FP8
30.73 GB
INT4
15.54 GB
~544 tok/s (INT4)VRAM-Details öffnen
Qwen2.5-14B
14B • Qwen 2
FP16
30.66 GB
FP8
16.04 GB
INT4
8.72 GB
~117 tok/s (INT4)VRAM-Details öffnen
Qwen3-14B
14B • Qwen 3
FP16
30.66 GB
FP8
16.04 GB
INT4
8.72 GB
~117 tok/s (INT4)VRAM-Details öffnen
Qwen2-14B
14B • Qwen 2
FP16
30.66 GB
FP8
16.04 GB
INT4
8.72 GB
~117 tok/s (INT4)VRAM-Details öffnen
Qwen2.5-7B
7B • Qwen 2
FP16
15.21 GB
FP8
7.96 GB
INT4
4.33 GB
~58 tok/s (FP16)VRAM-Details öffnen
Qwen2.5-3B
3B • Qwen 2
FP16
6.57 GB
FP8
3.46 GB
INT4
1.91 GB
~136 tok/s (FP16)VRAM-Details öffnen
Qwen2.5-1.5B
1.5B • Qwen 2
FP16
3.49 GB
FP8
1.89 GB
INT4
1.1 GB
~272 tok/s (FP16)VRAM-Details öffnen
Qwen2.5-0.5B
0.5B • Qwen 2
FP16
1.36 GB
FP8
0.83 GB
INT4
0.57 GB
~816 tok/s (FP16)VRAM-Details öffnen
Qwen3-0.6B
0.6B • Qwen 3
FP16
1.94 GB
FP8
1.12 GB
INT4
0.71 GB
~680 tok/s (FP16)VRAM-Details öffnen
Qwen3-1.7B
1.7B • Qwen 3
FP16
4.14 GB
FP8
2.22 GB
INT4
1.26 GB
~240 tok/s (FP16)VRAM-Details öffnen
Mistral-Nemo-12B
12B • Mistral
FP16
26.46 GB
FP8
13.83 GB
INT4
7.52 GB
~68 tok/s (FP8)VRAM-Details öffnen
Mistral-7B-v0.3
7B • Mistral
FP16
15.71 GB
FP8
8.21 GB
INT4
4.46 GB
~58 tok/s (FP16)VRAM-Details öffnen
Phi-3-3.8B
3.8B • Phi
FP16
11.02 GB
FP8
5.72 GB
INT4
3.07 GB
~107 tok/s (FP16)VRAM-Details öffnen
CodeLlama-13B
13B • CodeLlama
FP16
33.56 GB
FP8
17.44 GB
INT4
9.37 GB
~126 tok/s (INT4)VRAM-Details öffnen
CodeLlama-7B
7B • CodeLlama
FP16
18.71 GB
FP8
9.71 GB
INT4
5.21 GB
~117 tok/s (FP8)VRAM-Details öffnen
GPT-OSS-20BMoE 3.6B
21B • GPT-OSS
FP16
43.15 GB
FP8
21.78 GB
INT4
11.09 GB
~453 tok/s (INT4)VRAM-Details öffnen
NVIDIA RTX 5080 1x / 2x / 4x LLM-Kompatibilitätsmatrix
Berechnet bei 8K Kontextlänge und Batchgröße 1.
| LLM-Modell | FP8-VRAM-Bedarf | 1× (16GB) | 2× (32GB) | 4× (64GB) |
|---|---|---|---|---|
| DeepSeek-R1(671B) | 675 GB | Needs 22× | Needs 22× | Needs 22× |
| DeepSeek-R1-Distill-Qwen-32B(32B) | 36 GB | Needs 2× | INT4 | FP8 / INT4 |
| Llama 4 Scout(109B) | 111.21 GB | Needs 4× | Needs 4× | INT4 |
| Llama 3.1 8B(8B) | 9.31 GB | FP8 / INT4 | FP16 / FP8 / INT4 | FP16 / FP8 / INT4 |
| Llama 3.1 70B(70B) | 78.31 GB | Needs 3× | Needs 3× | INT4 |
| Qwen3-235B-A22B(235B) | 237.95 GB | Needs 8× | Needs 8× | Needs 8× |
| Qwen3-32B(32B) | 36.23 GB | Needs 2× | INT4 | FP8 / INT4 |
| Qwen3-14B(14B) | 16.04 GB | INT4 | FP16 / FP8 / INT4 | FP16 / FP8 / INT4 |
| Mixtral-8x7B(46.7B) | 48.5 GB | Needs 2× | INT4 | FP8 / INT4 |
| GPT-OSS-20B(21B) | 21.78 GB | INT4 | FP8 / INT4 | FP16 / FP8 / INT4 |
Spezielle Kompatibilitätsguides für alle 22 GPUs
NVIDIA RTX 5090 (32GB)NVIDIA RTX 5080 (16GB)NVIDIA RTX 5070 Ti (16GB)NVIDIA RTX 4090 (24GB)NVIDIA RTX 4080 SUPER (16GB)NVIDIA RTX 4070 Ti Super (16GB)NVIDIA RTX 4060 Ti (16GB)NVIDIA RTX 3090 (24GB)AMD Radeon RX 7900 XTX (24GB)NVIDIA RTX PRO 6000 Blackwell (96GB)Apple M4 Max (128GB)Apple M4 Max (64GB)Apple M4 Pro (48GB)Apple M3 Ultra (192GB)NVIDIA B200 (192GB)NVIDIA H200 (141GB)NVIDIA H100 (80GB)NVIDIA H20 (96GB)NVIDIA A100 (80GB)NVIDIA L40S (48GB)AMD Instinct MI300X (192GB)Huawei Ascend 910B (64GB)
NVIDIA RTX 5080 LLM-Deployment FAQ
tools.gpuCompatibility.gpuDetail.faq.q1▾
Mit 16GB VRAM laufen 32 unserer Benchmark-Modelle bei 8K Kontext in FP16, FP8 oder INT4 auf einer einzelnen Karte.
Welche Token-Rate erreicht die NVIDIA RTX 5080?▾
Mit 960 GB/s Bandbreite skaliert das Einzelstrom-Tempo umgekehrt proportional zu den aktiven Gewichts-Bytes pro Token.
Wann sollte ich 2x oder 4x NVIDIA RTX 5080 nutzen?▾
Sobald Modellgewichte plus KV-Cache 16GB überschreiten oder viele parallele Nutzer bedient werden, ist Tensor-Parallelismus nötig.
Verwandte LLM- & GPU-Tools entdecken
Gesamtes AI-Toolkit-Verzeichnis →Beliebte Modell-VRAM-Rechner
DeepSeek-R1 (671B)DeepSeek-V3 (671B)DeepSeek-V4-Pro (1.6T)DeepSeek-V4-Flash (284B)DeepSeek-R1-Distill-Qwen-32BDeepSeek-R1-Distill-Qwen-14BDeepSeek-R1-Distill-Qwen-7BDeepSeek-R1-Distill-Llama-70BLlama 4 Maverick (400B)Llama 4 Scout (109B)Llama 3.1 405BLlama 3.1 70BLlama 3.1 8BLlama 3.2 3BQwen3.5-397B-A17BQwen3-235B-A22BQwen3-Coder-480B-A35BQwen3-32B
GPU-Kompatibilitätsguides
NVIDIA RTX 5090 (32GB)NVIDIA RTX 5080 (16GB)NVIDIA RTX 5070 Ti (16GB)NVIDIA RTX 4090 (24GB)NVIDIA RTX 4080 SUPER (16GB)NVIDIA RTX 4070 Ti Super (16GB)NVIDIA RTX 4060 Ti (16GB)NVIDIA RTX 3090 (24GB)AMD Radeon RX 7900 XTX (24GB)NVIDIA RTX PRO 6000 Blackwell (96GB)Apple M4 Max (128GB)Apple M4 Max (64GB)Apple M4 Pro (48GB)Apple M3 Ultra (192GB)