Калькулятор требований к VRAM и GPU для Llama
Рассчитайте требования к VRAM и количество GPU для развёртывания Llama. Поддержка NVIDIA, AMD, Apple и Huawei
GPU
Требования к памяти 110.29 ГБ
Требуется 2 GPU (на основе емкости памяти)
109 GB
Все веса модели
0.15 GB
Кэш истории разговора
0.95 GB
Оптимизация экспертной модели
0.19 GB
Временный кэш вычислений
Примеры сценариев (GPU + Модель + Параллелизм):
Кликните эти примеры для быстрой настройки популярных сценариев развёртывания моделей!