Калькулятор требований к VRAM и GPU для LLM
Точно рассчитайте, сколько GPU вам нужно для развёртывания LLM. Поддерживает NVIDIA, AMD, Huawei Ascend, Mac M-серии. Получите мгновенные требования к оборудованию.
GPU
Требования к памяти 674.09 ГБ
Требуется 9 GPU (на основе емкости памяти)
671 GB
Все веса модели
0.13 GB
Кэш истории разговора
2.46 GB
Оптимизация экспертной модели
0.49 GB
Временный кэш вычислений
Примеры сценариев (GPU + Модель + Параллелизм):
Кликните эти примеры для быстрой настройки популярных сценариев развёртывания моделей!