Калькулятор требований к VRAM и GPU для LLM
Точно рассчитайте, сколько GPU вам нужно для развёртывания LLM. Поддерживает NVIDIA, AMD, Huawei Ascend, Mac M-серии. Получите мгновенные требования к оборудованию.
GPU
Требования к памяти 673.99 ГБ
Требуется 9 GPU (на основе емкости памяти)
671 GB
Все веса модели
0.5 GB
Кэш истории разговора
2.07 GB
Оптимизация экспертной модели
0.41 GB
Временный кэш вычислений
Примеры сценариев (GPU + Модель + Параллелизм):
Кликните эти примеры для быстрой настройки популярных сценариев развёртывания моделей!