PURE 编解码器：残余熵分段展开
声音
2025-12-01 v1 音频与语音处理
摘要
神经语音编解码器在低比特率压缩方面取得了强大的性能，但残差向量量化（RVQ）常常 suffer from 不稳定的训练和无效的分解，限制了重构质量和效率。我们提出 PURE 编解码器（Progressive Unfolding of Residual Entropy），一种新框架，通过指导多阶段量化使用预训练的语音增强模型。第一个量化阶段重构低熵、去噪后的语音嵌入，while subsequent stages 编码残差高熵组件。这种设计显著提高了训练稳定性。实验表明，PURE 在重构和基于语音语言模型的文本到语音方面 consistently outperforms conventional RVQ-based 编解码器，尤其在噪声训练条件下表现更佳。
引用
@article{arxiv.2511.22687,
title = {PURE Codec: Progressive Unfolding of Residual Entropy for Speech Codec Learning},
author = {Jiatong Shi and Haoran Wang and William Chen and Chenda Li and Wangyou Zhang and Jinchuan Tian and Shinji Watanabe},
journal= {arXiv preprint arXiv:2511.22687},
year = {2025}
}
备注
Accepted by ASRU2025