SenseVoiceSmall (0.23B) VRAM- & GPU-Rechner
Hardware-Dimensionierung für SenseVoiceSmall (0.23B) (0.23B von FunAudioLLM). 8K-Kontext-Richtwert: 0.7 GB (INT4) • 0.8 GB (FP8) • 1.0 GB (FP16).
Nicht-autoregressiv (0 KV-Cache)
GPUs
Speicheranforderungen 1.01 GB
Benötigt 1 GPUs (basierend auf Speicherkapazität)
0.46 GB
Alle Modellgewichte
0 GB
Gesprächsverlauf-Cache
0.48 GB
Nebenläufigkeits-Verarbeitungs-Cache
0.07 GB
Temporärer Berechnungs-Cache
Leistungsmetriken
1863 tok/s testen →Max. Streams (GPU)
155 streams
Duplex-Architektur
Stream / Turn-Based
Geschätzte Latenz
81 ms
Max QPS
12.4 Anfragen/s
Geschätzt aus Speicherbandbreite und Rechenleistung über 1x NVIDIA RTX 4090 (24GB).
Schnellstart CLI-Befehl
funasr-wss-server --model-dir FunAudioLLM/SenseVoiceSmall
Flags spiegeln gewählte Präzision, Kontextlänge und Tensor-Parallelität wider.SenseVoiceSmall-Spezifikationsseite öffnen →
SenseVoiceSmall (0.23B) Architektur & Speicherprofil
Gesamtparameter
0.23B
Architektur
Dense Transformer
Entwickler / Anbieter
FunAudioLLM
Empfohlene Präzision
FP16
SenseVoiceSmall (0.23B) VRAM-Matrix nach Präzision & Streams
Audio-Stream-VRAM inkl. unquantisierter Codec/CFM-Submodule und Puffer.
| Präzision | 1 Stream | 4 Streams | 16 Streams |
|---|---|---|---|
| FP16 | 1.0 GB | 1.5 GB | 3.3 GB |
| FP8 | 0.8 GB | 1.2 GB | 3.0 GB |
| INT8 | 0.8 GB | 1.2 GB | 3.0 GB |
| INT4 | 0.7 GB | 1.1 GB | 2.9 GB |
Empfohlene GPUs für SenseVoiceSmall (0.23B) (FP16)
Minimale GPU-Anzahl und maximale Echtzeit-Sprachstreams pro Node.
| GPU-Hardware | Min. GPUs | Gesamt-VRAM | Max. Streams |
|---|---|---|---|
| NVIDIA RTX 4090 (24GB) | 1× | 24 GB | 155 streams |
| NVIDIA RTX 5090 (32GB) | 1× | 32 GB | 208 streams |
| Apple M4 Max (128GB) (128GB) | 1× | 128 GB | 512 streams |
| NVIDIA A100 (80GB) (80GB) | 1× | 80 GB | 512 streams |
| NVIDIA H100 (80GB) | 1× | 80 GB | 512 streams |
| NVIDIA H200 (141GB) | 1× | 141 GB | 512 streams |
| Huawei Ascend 910B (64GB) | 1× | 64 GB | 423 streams |
FAQ zu SenseVoiceSmall (0.23B)
Wie viel VRAM benötigt SenseVoiceSmall (0.23B)?
Für 1 Audiostream benötigt SenseVoiceSmall (0.23B) ca. 1.0 GB in FP16, 0.8 GB in FP8 und 0.7 GB in INT4.
Wie viele RTX 4090 oder H100 GPUs brauche ich für SenseVoiceSmall (0.23B)?
Im FP16-Modus benötigt SenseVoiceSmall (0.23B) mindestens 1x RTX 4090 (24GB) oder 1x NVIDIA H100 (80GB).
Welche Präzision empfiehlt sich produktiv für SenseVoiceSmall (0.23B)?
Für SenseVoiceSmall (0.23B) (0.23B von FunAudioLLM) bietet FP16 den besten Kompromiss aus Qualität, Tempo und Speicherbedarf.