SPG-Codec：探究语义先验在超低比特率神经语音编码中的作用与边界
音频与语音处理
2026-04-30 v1
摘要
传统神经语音编解码器在超低比特率下 suffer严重的可读性退化，其中瓶颈从声学失真转向语义损失。为解决此问题，本文系统性地调查了将冻结语义先验（Specifically HuBERT 和 Whisper）集成到神经语音编码中的作用及其根本限制。我们提出并量化验证了一种新的语义退休现象：虽然语义约束在 1.5 kbps 处将词错误率（WER）降低最高可达约 10%，但其效益在超过 6 kbps 后迅速下降，表明实际容量边界。我们进一步发现不同先验类型的明确权衡：声学丰富的先验（HuBERT）更好地保留了副音和 timbral 细节，而高层语言先验（Whisper）有效抑制嘈杂环境中的语音幻觉（将幻觉率降低 26%），并显著缩小对未见说话人者的泛化差距。基于这些发现，我们提出一种比特率感知的调节策略，动态调整先验强度以优化语义一致性与感知自然性之间的权衡。广泛的实验评估确认，我们的方法在可读性和噪声鲁棒性方面与现有基线相当，为超低比特率生成式语音编码提供了原则性的路径。
引用
@article{arxiv.2604.26296,
title = {SPG-Codec: Exploring the Role and Boundaries of Semantic Priors in Ultra-Low-Bitrate Neural Speech Coding},
author = {Mingyu Zhao and Zijian Lin and Kun Wei and Zhiyong Wu},
journal= {arXiv preprint arXiv:2604.26296},
year = {2026}
}
备注
6 pages, 6 figures, accepted to ICME 2026