SenseVoiceSmall (0.23B) VRAM・GPU 必要スペック計算機

SenseVoiceSmall (0.23B)(FunAudioLLM・0.23Bパラメータ)のハードウェア要件。8Kコンテキスト目安:INT4 0.7 GB • FP8 0.8 GB • FP16 1.0 GB。

非自己回帰エンコーダ/DiT (KVキャッシュ 0)
台

メモリ要件 1.01 GB

1 台のGPUが必要(メモリ容量ベース)

0.46 GB

すべてのモデル重み

0 GB

会話履歴キャッシュ

0.48 GB

同時処理キャッシュ

0.07 GB

一時計算キャッシュ

パフォーマンス指標
1863 tok/s を体感 →
最大同時ストリーム
155 streams
二重通信方式
Stream / Turn-Based
推定レイテンシ
81 ms
最大QPS
12.4 クエリ/秒

1x NVIDIA RTX 4090 (24GB) のメモリ帯域と演算性能から推定された推論速度です。

クイック起動 CLI コマンド
funasr-wss-server --model-dir FunAudioLLM/SenseVoiceSmall
選択中の精度・コンテキスト長・テンソル並列GPU枚数が反映されています。SenseVoiceSmall 専用ページを開く →

SenseVoiceSmall (0.23B) アーキテクチャとメモリ仕様

総パラメータ数
0.23B
アーキテクチャ
Dense(標準)
開発元
FunAudioLLM
推奨精度
FP16

SenseVoiceSmall (0.23B) 精度・同時ストリーム数別 VRAM マトリックス

非量子化音響コーデックおよびランタイムバッファを含む実測ベースVRAM。

量子化精度1ストリーム4ストリーム16ストリーム
FP161.0 GB1.5 GB3.3 GB
FP80.8 GB1.2 GB3.0 GB
INT80.8 GB1.2 GB3.0 GB
INT40.7 GB1.1 GB2.9 GB

SenseVoiceSmall (0.23B) 推奨 GPU 構成一覧(FP16)

リアルタイム音声処理における必要GPU枚数と最大同時接続数。

GPU ハードウェア最小 GPU 数合計 VRAM最大接続数
NVIDIA RTX 4090 (24GB)1×24 GB155 streams
NVIDIA RTX 5090 (32GB)1×32 GB208 streams
Apple M4 Max (128GB) (128GB)1×128 GB512 streams
NVIDIA A100 (80GB) (80GB)1×80 GB512 streams
NVIDIA H100 (80GB)1×80 GB512 streams
NVIDIA H200 (141GB)1×141 GB512 streams
Huawei Ascend 910B (64GB)1×64 GB423 streams

SenseVoiceSmall (0.23B) デプロイ FAQ

SenseVoiceSmall (0.23B) の実行には何 GB の VRAM が必要ですか?
1ストリーム推論で SenseVoiceSmall (0.23B) は FP16 約 1.0 GB、FP8 約 0.8 GB、INT4 約 0.7 GB のVRAMを使用します。
SenseVoiceSmall (0.23B) には RTX 4090 や NVIDIA H100 が何枚必要ですか?
FP16精度でSenseVoiceSmall (0.23B)を動かすには、RTX 4090 (24GB) なら最低1枚、H100 (80GB) なら1枚必要です。
SenseVoiceSmall (0.23B) の本番環境ではどの精度を選ぶべきですか?
FunAudioLLMのSenseVoiceSmall (0.23B)(0.23B)は、速度・メモリ消費・出力品質のバランスに優れたFP16での運用が推奨されます。