AffectCodec：用于表达性语音建模的情感保持神经语音编解码器
声音
2026-05-13 v1
摘要
神经语音编解码器为语音语言模型提供离散表示，但在量化过程中常会损失情感线索。现有编解码器主要优化声学重建，导致在表示层面情感表达性不足。我们提出一种情感引导的神经语音编解码器，既显式保留情感信息，又保持语义忠实度和韵律自然性。我们的框架组合情感-语义引导的潜在调制、情感-语义关系保持的 distillation 以及情感加权的语义对齐，以在压缩条件下保留情感关键线索。广泛的评估涵盖语音重建、情感识别和下游文本到语音生成，证明在不牺牲内容准确性的前提下，提升了情感一致性和感知质量。
引用
@article{arxiv.2605.11098,
title = {AffectCodec: Emotion-Preserving Neural Speech Codec for Expressive Speech Modeling},
author = {Jiacheng Shi and Hongfei Du and Xinyuan Song and Y. Alicia Hong and Yanfu Zhang and Ye Gao},
journal= {arXiv preprint arXiv:2605.11098},
year = {2026}
}
备注
Accepted to ACL Findings 2026