Janus-Pro-7B VRAM- & GPU-Rechner
Hardware-Dimensionierung für Janus-Pro-7B (7B von DeepSeek). 8K-Kontext-Richtwert: 5.9 GB (INT4) • 10.4 GB (FP8) • 19.3 GB (FP16).
GPUs
Speicheranforderungen 19.26 GB
Benötigt 1 GPUs (basierend auf Speicherkapazität)
14.8 GB
Alle Modellgewichte
3.75 GB
Gesprächsverlauf-Cache
0.59 GB
Nebenläufigkeits-Verarbeitungs-Cache
0.12 GB
Temporärer Berechnungs-Cache
Leistungsmetriken
61 tok/s testen →Gesamtdurchsatz
61 Token/s
Durchsatz pro Benutzer
61 Token/s/Benutzer
Geschätzte Latenz
2451 ms
Max QPS
0.4 Anfragen/s
Geschätzt aus Speicherbandbreite und Rechenleistung über 1x NVIDIA RTX 4090 (24GB).
Schnellstart CLI-Befehl
vllm serve deepseek-ai/Janus-Pro-7B --max-model-len 8192
Flags spiegeln gewählte Präzision, Kontextlänge und Tensor-Parallelität wider.Janus-Pro-7B-Spezifikationsseite öffnen →
Janus-Pro-7B Architektur & Speicherprofil
Gesamtparameter
7B
Architektur
Dense Transformer
Entwickler / Anbieter
DeepSeek
Empfohlene Präzision
FP16
Janus-Pro-7B VRAM-Matrix nach Präzision & Kontext
Vorberechnet für 1 Nutzer (Gewichte + KV-Cache + Overhead).
| Präzision | 8K Kontext | 32K Kontext | 128K Kontext |
|---|---|---|---|
| FP16 | 19.3 GB | 30.8 GB | 76.1 GB |
| FP8 | 10.4 GB | 16.3 GB | 39.1 GB |
| INT8 | 10.4 GB | 16.3 GB | 39.1 GB |
| INT4 | 5.9 GB | 9.0 GB | 20.6 GB |
Empfohlene GPUs für Janus-Pro-7B (FP16)
Mindestanzahl an GPUs für 8K Kontext (Batch 1) & geschätzter Durchsatz.
| GPU-Hardware | Min. GPUs | Gesamt-VRAM | Gesch. Speed |
|---|---|---|---|
| NVIDIA RTX 4090 (24GB) | 1× | 24 GB | 61 tok/s |
| NVIDIA RTX 5090 (32GB) | 1× | 32 GB | 109 tok/s |
| Apple M4 Max (128GB) (128GB) | 1× | 128 GB | 25 tok/s |
| NVIDIA A100 (80GB) (80GB) | 1× | 80 GB | 118 tok/s |
| NVIDIA H100 (80GB) | 1× | 80 GB | 200 tok/s |
| NVIDIA H200 (141GB) | 1× | 141 GB | 291 tok/s |
| Huawei Ascend 910B (64GB) | 1× | 64 GB | 73 tok/s |
FAQ zu Janus-Pro-7B
Wie viel VRAM benötigt Janus-Pro-7B?
Bei 8K Kontext und Batch 1 benötigt Janus-Pro-7B ca. 19.3 GB in FP16, 10.4 GB in FP8 und 5.9 GB mit INT4-Quantisierung.
Wie viele RTX 4090 oder H100 GPUs brauche ich für Janus-Pro-7B?
Im FP16-Modus benötigt Janus-Pro-7B mindestens 1x RTX 4090 (24GB) oder 1x NVIDIA H100 (80GB).
Welche Präzision empfiehlt sich produktiv für Janus-Pro-7B?
Für Janus-Pro-7B (7B von DeepSeek) bietet FP16 den besten Kompromiss aus Qualität, Tempo und Speicherbedarf.