GPT-OSS VRAM- & GPU-Anforderungsrechner

Berechnen Sie VRAM-Anforderungen und GPU-Anzahl für GPT-OSS-Bereitstellung. Unterstützung für NVIDIA, AMD, Apple und Huawei

GPUs

Speicheranforderungen 59.31 GB

Benötigt 1 GPUs (basierend auf Speicherkapazität)

58.5 GB

Alle Modellgewichte

0.28 GB

Gesprächsverlauf-Cache

0.43 GB

Expertenmodell-Optimierung

0.1 GB

Temporärer Berechnungs-Cache

Leistungsmetriken
1100 tok/s testen →
Gesamtdurchsatz
1100 Token/s
Durchsatz pro Benutzer
1100 Token/s/Benutzer
Geschätzte Latenz
136 ms
Max QPS
7.3 Anfragen/s

Geschätzt aus Speicherbandbreite und Rechenleistung über 1x NVIDIA H100 (80GB).

Schnellstart CLI-Befehl
vllm serve openai/gpt-oss-120b --max-model-len 8192
Flags spiegeln gewählte Präzision, Kontextlänge und Tensor-Parallelität wider.GPT-OSS-120B-Spezifikationsseite öffnen →

GPT-OSS Architektur & Speicherprofil

Gesamtparameter
117B
Architektur
MoE (5.1B aktiv)
Entwickler / Anbieter
OpenAI
Empfohlene Präzision
MXFP4

GPT-OSS VRAM-Matrix nach Präzision & Kontext

Vorberechnet für 1 Nutzer (Gewichte + KV-Cache + Overhead).

Präzision8K Kontext32K Kontext128K Kontext
FP16235.7 GB239.2 GB252.9 GB
FP8118.1 GB120.0 GB126.9 GB
INT8118.1 GB120.0 GB126.9 GB
INT459.3 GB60.3 GB63.9 GB

Empfohlene GPUs für GPT-OSS (MXFP4)

Mindestanzahl an GPUs für 8K Kontext (Batch 1) & geschätzter Durchsatz.

GPU-HardwareMin. GPUsGesamt-VRAMGesch. Speed
NVIDIA RTX 4090 (24GB)3×72 GB2722 tok/s
NVIDIA RTX 5090 (32GB)2×64 GB2267 tok/s
Apple M4 Max (128GB) (128GB)1×128 GB137 tok/s
NVIDIA A100 (80GB) (80GB)1×80 GB647 tok/s
NVIDIA H100 (80GB)1×80 GB1100 tok/s
NVIDIA H200 (141GB)1×141 GB1600 tok/s
Huawei Ascend 910B (64GB)1×64 GB400 tok/s

FAQ zu GPT-OSS

Wie viel VRAM benötigt GPT-OSS?
Bei 8K Kontext und Batch 1 benötigt GPT-OSS ca. 235.7 GB in FP16, 118.1 GB in FP8 und 59.3 GB mit INT4-Quantisierung.
Wie viele RTX 4090 oder H100 GPUs brauche ich für GPT-OSS?
Im MXFP4-Modus benötigt GPT-OSS mindestens 3x RTX 4090 (24GB) oder 1x NVIDIA H100 (80GB).
Welche Präzision empfiehlt sich produktiv für GPT-OSS?
Für GPT-OSS (117B von OpenAI) bietet MXFP4 den besten Kompromiss aus Qualität, Tempo und Speicherbedarf.