SenseVoiceSmall (0.23B) VRAM- & GPU-Rechner

Hardware-Dimensionierung für SenseVoiceSmall (0.23B) (0.23B von FunAudioLLM). 8K-Kontext-Richtwert: 0.7 GB (INT4) • 0.8 GB (FP8) • 1.0 GB (FP16).

Nicht-autoregressiv (0 KV-Cache)
GPUs

Speicheranforderungen 1.01 GB

Benötigt 1 GPUs (basierend auf Speicherkapazität)

0.46 GB

Alle Modellgewichte

0 GB

Gesprächsverlauf-Cache

0.48 GB

Nebenläufigkeits-Verarbeitungs-Cache

0.07 GB

Temporärer Berechnungs-Cache

Leistungsmetriken
1863 tok/s testen →
Max. Streams (GPU)
155 streams
Duplex-Architektur
Stream / Turn-Based
Geschätzte Latenz
81 ms
Max QPS
12.4 Anfragen/s

Geschätzt aus Speicherbandbreite und Rechenleistung über 1x NVIDIA RTX 4090 (24GB).

Schnellstart CLI-Befehl
funasr-wss-server --model-dir FunAudioLLM/SenseVoiceSmall
Flags spiegeln gewählte Präzision, Kontextlänge und Tensor-Parallelität wider.SenseVoiceSmall-Spezifikationsseite öffnen →

SenseVoiceSmall (0.23B) Architektur & Speicherprofil

Gesamtparameter
0.23B
Architektur
Dense Transformer
Entwickler / Anbieter
FunAudioLLM
Empfohlene Präzision
FP16

SenseVoiceSmall (0.23B) VRAM-Matrix nach Präzision & Streams

Audio-Stream-VRAM inkl. unquantisierter Codec/CFM-Submodule und Puffer.

Präzision1 Stream4 Streams16 Streams
FP161.0 GB1.5 GB3.3 GB
FP80.8 GB1.2 GB3.0 GB
INT80.8 GB1.2 GB3.0 GB
INT40.7 GB1.1 GB2.9 GB

Empfohlene GPUs für SenseVoiceSmall (0.23B) (FP16)

Minimale GPU-Anzahl und maximale Echtzeit-Sprachstreams pro Node.

GPU-HardwareMin. GPUsGesamt-VRAMMax. Streams
NVIDIA RTX 4090 (24GB)1×24 GB155 streams
NVIDIA RTX 5090 (32GB)1×32 GB208 streams
Apple M4 Max (128GB) (128GB)1×128 GB512 streams
NVIDIA A100 (80GB) (80GB)1×80 GB512 streams
NVIDIA H100 (80GB)1×80 GB512 streams
NVIDIA H200 (141GB)1×141 GB512 streams
Huawei Ascend 910B (64GB)1×64 GB423 streams

FAQ zu SenseVoiceSmall (0.23B)

Wie viel VRAM benötigt SenseVoiceSmall (0.23B)?
Für 1 Audiostream benötigt SenseVoiceSmall (0.23B) ca. 1.0 GB in FP16, 0.8 GB in FP8 und 0.7 GB in INT4.
Wie viele RTX 4090 oder H100 GPUs brauche ich für SenseVoiceSmall (0.23B)?
Im FP16-Modus benötigt SenseVoiceSmall (0.23B) mindestens 1x RTX 4090 (24GB) oder 1x NVIDIA H100 (80GB).
Welche Präzision empfiehlt sich produktiv für SenseVoiceSmall (0.23B)?
Für SenseVoiceSmall (0.23B) (0.23B von FunAudioLLM) bietet FP16 den besten Kompromiss aus Qualität, Tempo und Speicherbedarf.