Калькулятор требований к VRAM и GPU для Llama

Рассчитайте требования к VRAM и количество GPU для развёртывания Llama. Поддержка NVIDIA, AMD, Apple и Huawei

GPU

Требования к памяти 402.21 ГБ

Требуется 6 GPU (на основе емкости памяти)

400 GB

Все веса модели

0.5 GB

Кэш истории разговора

1.43 GB

Оптимизация экспертной модели

0.29 GB

Временный кэш вычислений

Метрики производительности
Тест 5049 ток/с →
Общая пропускная способность
5049 токенов/с
Пропускная способность на пользователя
5049 токенов/с/пользователь
Оценочная задержка
30 мс
Макс QPS
33.7 запросов/с

Оценка пропускной способности памяти и вычислений для 6x NVIDIA H100 (80GB).

Команда быстрого запуска (CLI)
vllm serve meta-llama/Llama-4-Maverick-17B-128E-Instruct --quantization fp8 --tensor-parallel-size 6 --max-model-len 8192
Параметры автоматически учитывают выбранную точность, контекст и число GPU.Страница модели Llama 4 Maverick →

Архитектура и профиль памяти Llama

Всего параметров
400B
Архитектура
MoE (активно 17B)
Разработчик
Meta
Рекомендуемая точность
FP8

Матрица VRAM для Llama по точности и контексту

Предрасчёт для 1 пользователя (веса модели + KV-кэш + накладные расходы).

ТочностьКонтекст 8KКонтекст 32KКонтекст 128K
FP16802.7 GB806.4 GB819.1 GB
FP8402.2 GB404.4 GB411.1 GB
INT8402.2 GB404.4 GB411.1 GB
INT4202.0 GB203.4 GB207.1 GB

Рекомендуемые GPU для Llama (FP8)

Минимум видеокарт для контекста 8K при batch=1 и ожидаемая скорость.

Модель GPUМин. GPUОбщая VRAMСкорость
NVIDIA RTX 4090 (24GB)17×408 GB10924 tok/s
NVIDIA RTX 5090 (32GB)13×416 GB12100 tok/s
Apple M4 Max (128GB) (128GB)4×512 GB295 tok/s
NVIDIA A100 (80GB) (80GB)6×480 GB2968 tok/s
NVIDIA H100 (80GB)6×480 GB5049 tok/s
NVIDIA H200 (141GB)3×423 GB1944 tok/s
Huawei Ascend 910B (64GB)7×448 GB2499 tok/s

Вопросы по развёртыванию Llama

Сколько видеопамяти требуется для запуска Llama?
При контексте 8K и одном пользователе Llama занимает около 802.7 ГБ в FP16, 402.2 ГБ в FP8 и 202.0 ГБ в квантовании INT4.
Сколько нужно видеокарт RTX 4090 или H100 для Llama?
В точности FP8 для Llama потребуется минимум 17x RTX 4090 (24 ГБ) или 6x NVIDIA H100 (80 ГБ).
Какую точность выбрать для Llama в продакшене?
Для Llama (400B, Meta) оптимальный баланс качества, скорости и памяти обеспечивает FP8.