Калькулятор требований к VRAM и GPU для Llama
Рассчитайте требования к VRAM и количество GPU для развёртывания Llama. Поддержка NVIDIA, AMD, Apple и Huawei
GPU
Требования к памяти 402.21 ГБ
Требуется 6 GPU (на основе емкости памяти)
400 GB
Все веса модели
0.5 GB
Кэш истории разговора
1.43 GB
Оптимизация экспертной модели
0.29 GB
Временный кэш вычислений
Метрики производительности
Тест 5049 ток/с →Общая пропускная способность
5049 токенов/с
Пропускная способность на пользователя
5049 токенов/с/пользователь
Оценочная задержка
30 мс
Макс QPS
33.7 запросов/с
Оценка пропускной способности памяти и вычислений для 6x NVIDIA H100 (80GB).
Команда быстрого запуска (CLI)
vllm serve meta-llama/Llama-4-Maverick-17B-128E-Instruct --quantization fp8 --tensor-parallel-size 6 --max-model-len 8192
Параметры автоматически учитывают выбранную точность, контекст и число GPU.Страница модели Llama 4 Maverick →
Архитектура и профиль памяти Llama
Всего параметров
400B
Архитектура
MoE (активно 17B)
Разработчик
Meta
Рекомендуемая точность
FP8
Матрица VRAM для Llama по точности и контексту
Предрасчёт для 1 пользователя (веса модели + KV-кэш + накладные расходы).
| Точность | Контекст 8K | Контекст 32K | Контекст 128K |
|---|---|---|---|
| FP16 | 802.7 GB | 806.4 GB | 819.1 GB |
| FP8 | 402.2 GB | 404.4 GB | 411.1 GB |
| INT8 | 402.2 GB | 404.4 GB | 411.1 GB |
| INT4 | 202.0 GB | 203.4 GB | 207.1 GB |
Рекомендуемые GPU для Llama (FP8)
Минимум видеокарт для контекста 8K при batch=1 и ожидаемая скорость.
| Модель GPU | Мин. GPU | Общая VRAM | Скорость |
|---|---|---|---|
| NVIDIA RTX 4090 (24GB) | 17× | 408 GB | 10924 tok/s |
| NVIDIA RTX 5090 (32GB) | 13× | 416 GB | 12100 tok/s |
| Apple M4 Max (128GB) (128GB) | 4× | 512 GB | 295 tok/s |
| NVIDIA A100 (80GB) (80GB) | 6× | 480 GB | 2968 tok/s |
| NVIDIA H100 (80GB) | 6× | 480 GB | 5049 tok/s |
| NVIDIA H200 (141GB) | 3× | 423 GB | 1944 tok/s |
| Huawei Ascend 910B (64GB) | 7× | 448 GB | 2499 tok/s |
Вопросы по развёртыванию Llama
Сколько видеопамяти требуется для запуска Llama?
При контексте 8K и одном пользователе Llama занимает около 802.7 ГБ в FP16, 402.2 ГБ в FP8 и 202.0 ГБ в квантовании INT4.
Сколько нужно видеокарт RTX 4090 или H100 для Llama?
В точности FP8 для Llama потребуется минимум 17x RTX 4090 (24 ГБ) или 6x NVIDIA H100 (80 ГБ).
Какую точность выбрать для Llama в продакшене?
Для Llama (400B, Meta) оптимальный баланс качества, скорости и памяти обеспечивает FP8.