AffectCodec：具有块对角残差 FSQ 的保情感神经语音编解码器
声音
2026-05-25 v1
摘要
神经语音编解码器已成为原始音频和语音语言模型之间的离散接口，但它们仍然主要针对声学重建保真度进行优化，这使得与情感相关的线索在量化过程中容易被丢弃，从而限制了下游模型的情感能力。我们将这种退化追溯到两种机制：有限比特率下由重建驱动的比特分配，以及基于拼接的编解码器中的跨流泄漏，其中声学梯度可能会覆盖名义上保留给情感的维度。我们提出了 AffectCodec，一种建立在块对角残差有限标量量化（BD-RFSQ）基础上的保情感神经语音编解码器。通过对情感和声学子空间施加块对角输入和输出投影，BD-RFSQ 将比特分配从隐式和损失驱动转变为显式和结构保证，同时仍为下游语音语言模型保留扁平的 token 接口。AffectCodec 进一步将这种结构约束量化器与多粒度情感条件化和多速率训练相结合，实现了在低比特率下稳健的情感保留。在多个情感语音基准上的实验表明，AffectCodec 显著改善了情感保留，尤其是在低比特率情况下，同时保持了具有竞争力的声学质量和可懂度。这些结果表明，结构保护量化是保留情感相关信息的一种有效原则，并可能为属性感知的神经语音压缩提供一条通用途径。
引用
@article{arxiv.2605.23373,
title = {AffectCodec: Emotion-Preserving Neural Speech Codec with Block-Diagonal Residual FSQ},
author = {Zhaoyang Meng and Zhengyao Ma and Kecan Mao and Yingming Gao and Ya Li},
journal= {arXiv preprint arXiv:2605.23373},
year = {2026}
}