LLM-Inferenz-VRAM- & GPU-Anforderungsrechner

Berechnen Sie genau, wie viele GPUs Sie für die Bereitstellung von LLMs benötigen. Unterstützt NVIDIA, AMD, Huawei Ascend, Mac M-Serie. Erhalten Sie sofortige Hardware-Anforderungen.

Modellauswahl

Modellparameter (Milliarden)

Präzision

Durchschnittliche Kontextlänge

GPU-Modell

Gleichzeitige Benutzer

Erwartete Erfahrung pro Benutzer

Token/s

GPU-Anzahl

GPUs

Speicheranforderungen 673.99 GB

Benötigt 9 GPUs (basierend auf Speicherkapazität)

Modellspeicher

671 GB

Alle Modellgewichte

KV-Cache

0.5 GB

Gesprächsverlauf-Cache

Aktivierungsspeicher

2.07 GB

Expertenmodell-Optimierung

Berechnungs-Cache

0.41 GB

Temporärer Berechnungs-Cache

Durchsatzanforderungen 10 Token/s

Benötigt 9 GPUs (basierend auf VRAM-Bandbreite und Rechenleistung)

Gesamtdurchsatz

1,042 Token/s

Gesamte Rechenleistung aller GPUs

Durchsatz pro Benutzer

1,042 tokens/s

Gesamtdurchsatz ÷ 1 Benutzer

✅ Erfüllt Erwartung 10 Token/s

Geschätzte Latenz

96 ms

100 Token durchschnittliche Antwortzeit

Szenario-Beispiele (GPU + Modell + Nebenläufigkeit):

Klicken Sie auf diese Beispiele, um schnell beliebte Modellbereitstellungsszenarien zu konfigurieren!

📋 Berechnungsformel FAQ