Калькулятор требований к VRAM и GPU для DeepSeek

Рассчитайте требования к VRAM и количество GPU для развёртывания DeepSeek. Поддержка NVIDIA, AMD, Apple и Huawei

GPU

Требования к памяти 884.98 ГБ

Требуется 12 GPU (на основе емкости памяти)

880 GB

Все веса модели

0.04 GB

Кэш истории разговора

4.12 GB

Оптимизация экспертной модели

0.82 GB

Временный кэш вычислений

Метрики производительности
Тест 11990 ток/с →
Общая пропускная способность
11990 токенов/с
Пропускная способность на пользователя
11990 токенов/с/пользователь
Оценочная задержка
13 мс
Макс QPS
79.9 запросов/с

Оценка пропускной способности памяти и вычислений для 12x NVIDIA H100 (80GB).

Команда быстрого запуска (CLI)
vllm serve deepseek-ai/DeepSeek-V4-Pro --tensor-parallel-size 12 --max-model-len 8192
Параметры автоматически учитывают выбранную точность, контекст и число GPU.Страница модели DeepSeek-V4-Pro →

Архитектура и профиль памяти DeepSeek

Всего параметров
1600B
Архитектура
MoE (активно 49B)
Разработчик
DeepSeek
Рекомендуемая точность
FP4+FP8

Матрица VRAM для DeepSeek по точности и контексту

Предрасчёт для 1 пользователя (веса модели + KV-кэш + накладные расходы).

ТочностьКонтекст 8KКонтекст 32KКонтекст 128K
FP163205.0 GB3207.2 GB3210.2 GB
FP81605.0 GB1607.1 GB1609.5 GB
INT81605.0 GB1607.1 GB1609.5 GB
INT4805.0 GB807.0 GB809.2 GB

Рекомендуемые GPU для DeepSeek (FP4+FP8)

Минимум видеокарт для контекста 8K при batch=1 и ожидаемая скорость.

Модель GPUМин. GPUОбщая VRAMСкорость
NVIDIA RTX 4090 (24GB)37×888 GB31555 tok/s
NVIDIA RTX 5090 (32GB)28×896 GB33196 tok/s
Apple M4 Max (128GB) (128GB)7×896 GB539 tok/s
NVIDIA A100 (80GB) (80GB)12×960 GB7049 tok/s
NVIDIA H100 (80GB)12×960 GB11990 tok/s
NVIDIA H200 (141GB)7×987 GB6305 tok/s
Huawei Ascend 910B (64GB)14×896 GB5935 tok/s

Вопросы по развёртыванию DeepSeek

Сколько видеопамяти требуется для запуска DeepSeek?
При контексте 8K и одном пользователе DeepSeek занимает около 3205.0 ГБ в FP16, 1605.0 ГБ в FP8 и 805.0 ГБ в квантовании INT4.
Сколько нужно видеокарт RTX 4090 или H100 для DeepSeek?
В точности FP4+FP8 для DeepSeek потребуется минимум 37x RTX 4090 (24 ГБ) или 12x NVIDIA H100 (80 ГБ).
Какую точность выбрать для DeepSeek в продакшене?
Для DeepSeek (1600B, DeepSeek) оптимальный баланс качества, скорости и памяти обеспечивает FP4+FP8.