Llama VRAM- & GPU-Anforderungsrechner
Berechnen Sie VRAM-Anforderungen und GPU-Anzahl für Llama-Bereitstellung. Unterstützung für NVIDIA, AMD, Apple und Huawei
GPUs
Speicheranforderungen 110.61 GB
Benötigt 2 GPUs (basierend auf Speicherkapazität)
109 GB
Alle Modellgewichte
0.25 GB
Gesprächsverlauf-Cache
1.13 GB
Expertenmodell-Optimierung
0.23 GB
Temporärer Berechnungs-Cache
Szenario-Beispiele (GPU + Modell + Nebenläufigkeit):
Klicken Sie auf diese Beispiele, um schnell beliebte Modellbereitstellungsszenarien zu konfigurieren!