Калькулятор требований к VRAM и GPU для Qwen

Рассчитайте требования к VRAM и количество GPU для развёртывания Qwen. Поддержка NVIDIA, AMD, Apple и Huawei

GPU

Требования к памяти 2411.08 ГБ

Требуется 31 GPU (на основе емкости памяти)

2400 GB

Все веса модели

1.5 GB

Кэш истории разговора

7.98 GB

Оптимизация экспертной модели

1.6 GB

Временный кэш вычислений

Метрики производительности
Тест 21281 ток/с →
Общая пропускная способность
21281 токенов/с
Пропускная способность на пользователя
21281 токенов/с/пользователь
Оценочная задержка
7 мс
Макс QPS
141.9 запросов/с

Оценка пропускной способности памяти и вычислений для 31x NVIDIA H100 (80GB).

Команда быстрого запуска (CLI)
vllm serve Qwen/Qwen3.8-2.4T-A95B --quantization fp8 --tensor-parallel-size 31 --max-model-len 8192
Параметры автоматически учитывают выбранную точность, контекст и число GPU.Страница модели Qwen3.8-2.4T-A95B →

Архитектура и профиль памяти Qwen

Всего параметров
2400B
Архитектура
MoE (активно 95B)
Разработчик
Alibaba Qwen
Рекомендуемая точность
FP8

Матрица VRAM для Qwen по точности и контексту

Предрасчёт для 1 пользователя (веса модели + KV-кэш + накладные расходы).

ТочностьКонтекст 8KКонтекст 32KКонтекст 128K
FP164812.6 GB4825.4 GB4865.2 GB
FP82411.1 GB2419.4 GB2441.2 GB
INT82411.1 GB2419.4 GB2441.2 GB
INT41210.3 GB1216.4 GB1229.2 GB

Рекомендуемые GPU для Qwen (FP8)

Минимум видеокарт для контекста 8K при batch=1 и ожидаемая скорость.

Модель GPUМин. GPUОбщая VRAMСкорость
NVIDIA RTX 4090 (24GB)101×2424 GB64402 tok/s
NVIDIA RTX 5090 (32GB)76×2432 GB64755 tok/s
Apple M4 Max (128GB) (128GB)19×2432 GB993 tok/s
NVIDIA A100 (80GB) (80GB)31×2480 GB12511 tok/s
NVIDIA H100 (80GB)31×2480 GB21281 tok/s
NVIDIA H200 (141GB)18×2538 GB10436 tok/s
Huawei Ascend 910B (64GB)38×2432 GB11163 tok/s

Вопросы по развёртыванию Qwen

Сколько видеопамяти требуется для запуска Qwen?
При контексте 8K и одном пользователе Qwen занимает около 4812.6 ГБ в FP16, 2411.1 ГБ в FP8 и 1210.3 ГБ в квантовании INT4.
Сколько нужно видеокарт RTX 4090 или H100 для Qwen?
В точности FP8 для Qwen потребуется минимум 101x RTX 4090 (24 ГБ) или 31x NVIDIA H100 (80 ГБ).
Какую точность выбрать для Qwen в продакшене?
Для Qwen (2400B, Alibaba Qwen) оптимальный баланс качества, скорости и памяти обеспечивает FP8.