Калькулятор требований к VRAM и GPU для Llama
Рассчитайте требования к VRAM и количество GPU для развёртывания Llama. Поддержка NVIDIA, AMD, Apple и Huawei
GPU
Требования к памяти 111.21 ГБ
Требуется 2 GPU (на основе емкости памяти)
109 GB
Все веса модели
0.5 GB
Кэш истории разговора
1.43 GB
Оптимизация экспертной модели
0.29 GB
Временный кэш вычислений
Примеры сценариев (GPU + Модель + Параллелизм):
Кликните эти примеры для быстрой настройки популярных сценариев развёртывания моделей!