Калькулятор требований к VRAM и GPU для GPT-OSS

Рассчитайте требования к VRAM и количество GPU для развёртывания GPT-OSS. Поддержка NVIDIA, AMD, Apple и Huawei

GPU

Требования к памяти 59.31 ГБ

Требуется 1 GPU (на основе емкости памяти)

58.5 GB

Все веса модели

0.28 GB

Кэш истории разговора

0.43 GB

Оптимизация экспертной модели

0.1 GB

Временный кэш вычислений

Метрики производительности
Тест 1100 ток/с →
Общая пропускная способность
1100 токенов/с
Пропускная способность на пользователя
1100 токенов/с/пользователь
Оценочная задержка
136 мс
Макс QPS
7.3 запросов/с

Оценка пропускной способности памяти и вычислений для 1x NVIDIA H100 (80GB).

Команда быстрого запуска (CLI)
vllm serve openai/gpt-oss-120b --max-model-len 8192
Параметры автоматически учитывают выбранную точность, контекст и число GPU.Страница модели GPT-OSS-120B →

Архитектура и профиль памяти GPT-OSS

Всего параметров
117B
Архитектура
MoE (активно 5.1B)
Разработчик
OpenAI
Рекомендуемая точность
MXFP4

Матрица VRAM для GPT-OSS по точности и контексту

Предрасчёт для 1 пользователя (веса модели + KV-кэш + накладные расходы).

ТочностьКонтекст 8KКонтекст 32KКонтекст 128K
FP16235.7 GB239.2 GB252.9 GB
FP8118.1 GB120.0 GB126.9 GB
INT8118.1 GB120.0 GB126.9 GB
INT459.3 GB60.3 GB63.9 GB

Рекомендуемые GPU для GPT-OSS (MXFP4)

Минимум видеокарт для контекста 8K при batch=1 и ожидаемая скорость.

Модель GPUМин. GPUОбщая VRAMСкорость
NVIDIA RTX 4090 (24GB)3×72 GB2722 tok/s
NVIDIA RTX 5090 (32GB)2×64 GB2267 tok/s
Apple M4 Max (128GB) (128GB)1×128 GB137 tok/s
NVIDIA A100 (80GB) (80GB)1×80 GB647 tok/s
NVIDIA H100 (80GB)1×80 GB1100 tok/s
NVIDIA H200 (141GB)1×141 GB1600 tok/s
Huawei Ascend 910B (64GB)1×64 GB400 tok/s

Вопросы по развёртыванию GPT-OSS

Сколько видеопамяти требуется для запуска GPT-OSS?
При контексте 8K и одном пользователе GPT-OSS занимает около 235.7 ГБ в FP16, 118.1 ГБ в FP8 и 59.3 ГБ в квантовании INT4.
Сколько нужно видеокарт RTX 4090 или H100 для GPT-OSS?
В точности MXFP4 для GPT-OSS потребуется минимум 3x RTX 4090 (24 ГБ) или 1x NVIDIA H100 (80 ГБ).
Какую точность выбрать для GPT-OSS в продакшене?
Для GPT-OSS (117B, OpenAI) оптимальный баланс качества, скорости и памяти обеспечивает MXFP4.