Калькулятор требований к VRAM и GPU для DeepSeek
Рассчитайте требования к VRAM и количество GPU для развёртывания DeepSeek. Поддержка NVIDIA, AMD, Apple и Huawei
GPU
Требования к памяти 884.98 ГБ
Требуется 12 GPU (на основе емкости памяти)
880 GB
Все веса модели
0.04 GB
Кэш истории разговора
4.12 GB
Оптимизация экспертной модели
0.82 GB
Временный кэш вычислений
Метрики производительности
Тест 11990 ток/с →Общая пропускная способность
11990 токенов/с
Пропускная способность на пользователя
11990 токенов/с/пользователь
Оценочная задержка
13 мс
Макс QPS
79.9 запросов/с
Оценка пропускной способности памяти и вычислений для 12x NVIDIA H100 (80GB).
Команда быстрого запуска (CLI)
vllm serve deepseek-ai/DeepSeek-V4-Pro --tensor-parallel-size 12 --max-model-len 8192
Параметры автоматически учитывают выбранную точность, контекст и число GPU.Страница модели DeepSeek-V4-Pro →
Архитектура и профиль памяти DeepSeek
Всего параметров
1600B
Архитектура
MoE (активно 49B)
Разработчик
DeepSeek
Рекомендуемая точность
FP4+FP8
Матрица VRAM для DeepSeek по точности и контексту
Предрасчёт для 1 пользователя (веса модели + KV-кэш + накладные расходы).
| Точность | Контекст 8K | Контекст 32K | Контекст 128K |
|---|---|---|---|
| FP16 | 3205.0 GB | 3207.2 GB | 3210.2 GB |
| FP8 | 1605.0 GB | 1607.1 GB | 1609.5 GB |
| INT8 | 1605.0 GB | 1607.1 GB | 1609.5 GB |
| INT4 | 805.0 GB | 807.0 GB | 809.2 GB |
Рекомендуемые GPU для DeepSeek (FP4+FP8)
Минимум видеокарт для контекста 8K при batch=1 и ожидаемая скорость.
| Модель GPU | Мин. GPU | Общая VRAM | Скорость |
|---|---|---|---|
| NVIDIA RTX 4090 (24GB) | 37× | 888 GB | 31555 tok/s |
| NVIDIA RTX 5090 (32GB) | 28× | 896 GB | 33196 tok/s |
| Apple M4 Max (128GB) (128GB) | 7× | 896 GB | 539 tok/s |
| NVIDIA A100 (80GB) (80GB) | 12× | 960 GB | 7049 tok/s |
| NVIDIA H100 (80GB) | 12× | 960 GB | 11990 tok/s |
| NVIDIA H200 (141GB) | 7× | 987 GB | 6305 tok/s |
| Huawei Ascend 910B (64GB) | 14× | 896 GB | 5935 tok/s |
Вопросы по развёртыванию DeepSeek
Сколько видеопамяти требуется для запуска DeepSeek?
При контексте 8K и одном пользователе DeepSeek занимает около 3205.0 ГБ в FP16, 1605.0 ГБ в FP8 и 805.0 ГБ в квантовании INT4.
Сколько нужно видеокарт RTX 4090 или H100 для DeepSeek?
В точности FP4+FP8 для DeepSeek потребуется минимум 37x RTX 4090 (24 ГБ) или 12x NVIDIA H100 (80 ГБ).
Какую точность выбрать для DeepSeek в продакшене?
Для DeepSeek (1600B, DeepSeek) оптимальный баланс качества, скорости и памяти обеспечивает FP4+FP8.