Janus-Pro-7B VRAM- & GPU-Rechner

Hardware-Dimensionierung für Janus-Pro-7B (7B von DeepSeek). 8K-Kontext-Richtwert: 5.9 GB (INT4) • 10.4 GB (FP8) • 19.3 GB (FP16).

GPUs

Speicheranforderungen 19.26 GB

Benötigt 1 GPUs (basierend auf Speicherkapazität)

14.8 GB

Alle Modellgewichte

3.75 GB

Gesprächsverlauf-Cache

0.59 GB

Nebenläufigkeits-Verarbeitungs-Cache

0.12 GB

Temporärer Berechnungs-Cache

Leistungsmetriken
61 tok/s testen →
Gesamtdurchsatz
61 Token/s
Durchsatz pro Benutzer
61 Token/s/Benutzer
Geschätzte Latenz
2451 ms
Max QPS
0.4 Anfragen/s

Geschätzt aus Speicherbandbreite und Rechenleistung über 1x NVIDIA RTX 4090 (24GB).

Schnellstart CLI-Befehl
vllm serve deepseek-ai/Janus-Pro-7B --max-model-len 8192
Flags spiegeln gewählte Präzision, Kontextlänge und Tensor-Parallelität wider.Janus-Pro-7B-Spezifikationsseite öffnen →

Janus-Pro-7B Architektur & Speicherprofil

Gesamtparameter
7B
Architektur
Dense Transformer
Entwickler / Anbieter
DeepSeek
Empfohlene Präzision
FP16

Janus-Pro-7B VRAM-Matrix nach Präzision & Kontext

Vorberechnet für 1 Nutzer (Gewichte + KV-Cache + Overhead).

Präzision8K Kontext32K Kontext128K Kontext
FP1619.3 GB30.8 GB76.1 GB
FP810.4 GB16.3 GB39.1 GB
INT810.4 GB16.3 GB39.1 GB
INT45.9 GB9.0 GB20.6 GB

Empfohlene GPUs für Janus-Pro-7B (FP16)

Mindestanzahl an GPUs für 8K Kontext (Batch 1) & geschätzter Durchsatz.

GPU-HardwareMin. GPUsGesamt-VRAMGesch. Speed
NVIDIA RTX 4090 (24GB)1×24 GB61 tok/s
NVIDIA RTX 5090 (32GB)1×32 GB109 tok/s
Apple M4 Max (128GB) (128GB)1×128 GB25 tok/s
NVIDIA A100 (80GB) (80GB)1×80 GB118 tok/s
NVIDIA H100 (80GB)1×80 GB200 tok/s
NVIDIA H200 (141GB)1×141 GB291 tok/s
Huawei Ascend 910B (64GB)1×64 GB73 tok/s

FAQ zu Janus-Pro-7B

Wie viel VRAM benötigt Janus-Pro-7B?
Bei 8K Kontext und Batch 1 benötigt Janus-Pro-7B ca. 19.3 GB in FP16, 10.4 GB in FP8 und 5.9 GB mit INT4-Quantisierung.
Wie viele RTX 4090 oder H100 GPUs brauche ich für Janus-Pro-7B?
Im FP16-Modus benötigt Janus-Pro-7B mindestens 1x RTX 4090 (24GB) oder 1x NVIDIA H100 (80GB).
Welche Präzision empfiehlt sich produktiv für Janus-Pro-7B?
Für Janus-Pro-7B (7B von DeepSeek) bietet FP16 den besten Kompromiss aus Qualität, Tempo und Speicherbedarf.