Калькулятор требований к VRAM и GPU для Llama
Рассчитайте требования к VRAM и количество GPU для развёртывания Llama. Поддержка NVIDIA, AMD, Apple и Huawei
GPU
Требования к памяти 110.61 ГБ
Требуется 2 GPU (на основе емкости памяти)
109 GB
Все веса модели
0.25 GB
Кэш истории разговора
1.13 GB
Оптимизация экспертной модели
0.23 GB
Временный кэш вычислений
Примеры сценариев (GPU + Модель + Параллелизм):
Кликните эти примеры для быстрой настройки популярных сценариев развёртывания моделей!