SenseVoiceSmall (0.23B) 显存计算与 GPU 部署指南

针对 SenseVoiceSmall (0.23B)(FunAudioLLM,总参数 0.23B)的实时显存核算。8K 上下文参考:INT4 0.7 GB • FP8 0.8 GB • FP16 1.0 GB。

非自回归编码/扩散结构(零 KV Cache)
张卡

显存需求 1.01 GB

需要 1 张显卡(基于显存容量)

0.46 GB

所有模型权重

0 GB

对话历史缓存

0.48 GB

并发处理缓存

0.07 GB

临时计算缓存

单节点最大并发流
155 streams
双工架构类型
Stream / Turn-Based
预估延迟
81 ms
最大QPS
12.4 queries/s

基于 1x NVIDIA RTX 4090 (24GB) 的显存带宽与算力模型推算的参考推理速率。

一键部署命令生成
funasr-wss-server --model-dir FunAudioLLM/SenseVoiceSmall
命令参数已自动匹配当前所选精度、上下文长度与多卡张量并行数量。查看 SenseVoiceSmall 专属显存指南 →

SenseVoiceSmall (0.23B) 模型架构与显存规格

总参数量
0.23B
模型架构
Dense 稠密架构
发布厂商
FunAudioLLM
推荐部署精度
FP16

SenseVoiceSmall (0.23B) 不同精度与并发流数显存矩阵

包含不可量化声学编解码/CFM 子网、流式缓冲区及 KV 滑窗的实际占用。

量化精度1 路并发4 路并发16 路并发
FP161.0 GB1.5 GB3.3 GB
FP80.8 GB1.2 GB3.0 GB
INT80.8 GB1.2 GB3.0 GB
INT40.7 GB1.1 GB2.9 GB

SenseVoiceSmall (0.23B) 推荐 GPU 硬件配置表(FP16)

基于单卡显存及全双工 12.5Hz 帧预算的最低卡数与最大并发语音流数。

GPU 显卡型号最低卡数总显存池最大并发流
NVIDIA RTX 4090 (24GB)1×24 GB155 streams
NVIDIA RTX 5090 (32GB)1×32 GB208 streams
Apple M4 Max (128GB) (128GB)1×128 GB512 streams
NVIDIA A100 (80GB) (80GB)1×80 GB512 streams
NVIDIA H100 (80GB)1×80 GB512 streams
NVIDIA H200 (141GB)1×141 GB512 streams
Huawei Ascend 910B (64GB)1×64 GB423 streams

SenseVoiceSmall (0.23B) 部署常见问题

运行 SenseVoiceSmall (0.23B) 最低需要多大显存?
单路并发推理时,SenseVoiceSmall (0.23B) 在 FP16 约需 1.0 GB、FP8 约需 0.8 GB、INT4 约需 0.7 GB 显存(已计入常驻高精度声学/Codec 模块)。
用 RTX 4090 或 H100 部署 SenseVoiceSmall (0.23B) 需要几张卡?
以 FP16 精度运行 SenseVoiceSmall (0.23B),至少需要 1 张 RTX 4090 (24GB) 或 1 张 NVIDIA H100 (80GB)。
生产环境运行 SenseVoiceSmall (0.23B) 推荐哪种量化精度?
对于 FunAudioLLM 推出的 SenseVoiceSmall (0.23B)(0.23B),推荐优先使用 FP16,在生成质量、显存开销与吞吐效率间表现最佳。