Qwen2.5-Omni-7B (10.7B Total) VRAM- & GPU-Rechner

Hardware-Dimensionierung für Qwen2.5-Omni-7B (10.7B Total) (10.7B von Alibaba Qwen). 8K-Kontext-Richtwert: 8.1 GB (INT4) • 13.6 GB (FP8) • 24.5 GB (FP16).

GPUs

Speicheranforderungen 24.47 GB

Benötigt 2 GPUs (basierend auf Speicherkapazität)

23 GB

Alle Modellgewichte

0.44 GB

Gesprächsverlauf-Cache

0.9 GB

Nebenläufigkeits-Verarbeitungs-Cache

0.14 GB

Temporärer Berechnungs-Cache

Leistungsmetriken
152 tok/s testen →
Gesamtdurchsatz
152 Token/s
Durchsatz pro Benutzer
152 Token/s/Benutzer
Geschätzte Latenz
986 ms
Max QPS
1 Anfragen/s

Geschätzt aus Speicherbandbreite und Rechenleistung über 2x NVIDIA RTX 4090 (24GB).

Schnellstart CLI-Befehl
vllm serve Qwen/Qwen2.5-Omni-7B --tensor-parallel-size 2 --max-model-len 8192
Flags spiegeln gewählte Präzision, Kontextlänge und Tensor-Parallelität wider.Qwen2.5-Omni-7B-Spezifikationsseite öffnen →

Qwen2.5-Omni-7B (10.7B Total) Architektur & Speicherprofil

Gesamtparameter
10.7B
Architektur
Dense Transformer
Entwickler / Anbieter
Alibaba Qwen
Empfohlene Präzision
FP16

Qwen2.5-Omni-7B (10.7B Total) VRAM-Matrix nach Präzision & Kontext

Vorberechnet für 1 Nutzer (Gewichte + KV-Cache + Overhead).

Präzision8K Kontext32K Kontext128K Kontext
FP1624.5 GB25.8 GB31.0 GB
FP813.6 GB14.2 GB16.8 GB
INT813.6 GB14.2 GB16.8 GB
INT48.1 GB8.4 GB9.7 GB

Empfohlene GPUs für Qwen2.5-Omni-7B (10.7B Total) (FP16)

Mindestanzahl an GPUs für 8K Kontext (Batch 1) & geschätzter Durchsatz.

GPU-HardwareMin. GPUsGesamt-VRAMGesch. Speed
NVIDIA RTX 4090 (24GB)2×48 GB152 tok/s
NVIDIA RTX 5090 (32GB)1×32 GB71 tok/s
Apple M4 Max (128GB) (128GB)1×128 GB16 tok/s
NVIDIA A100 (80GB) (80GB)1×80 GB77 tok/s
NVIDIA H100 (80GB)1×80 GB131 tok/s
NVIDIA H200 (141GB)1×141 GB191 tok/s
Huawei Ascend 910B (64GB)1×64 GB48 tok/s

FAQ zu Qwen2.5-Omni-7B (10.7B Total)

Wie viel VRAM benötigt Qwen2.5-Omni-7B (10.7B Total)?
Bei 8K Kontext und Batch 1 benötigt Qwen2.5-Omni-7B (10.7B Total) ca. 24.5 GB in FP16, 13.6 GB in FP8 und 8.1 GB mit INT4-Quantisierung.
Wie viele RTX 4090 oder H100 GPUs brauche ich für Qwen2.5-Omni-7B (10.7B Total)?
Im FP16-Modus benötigt Qwen2.5-Omni-7B (10.7B Total) mindestens 2x RTX 4090 (24GB) oder 1x NVIDIA H100 (80GB).
Welche Präzision empfiehlt sich produktiv für Qwen2.5-Omni-7B (10.7B Total)?
Für Qwen2.5-Omni-7B (10.7B Total) (10.7B von Alibaba Qwen) bietet FP16 den besten Kompromiss aus Qualität, Tempo und Speicherbedarf.