经济化低延迟神经语音解码器：显式幅度与相位预测
音频与语音处理
2025-09-18 v1
摘要
主流神经语音解码器主要关注语音质量与生成速度，忽视了实时应用中至关重要的延迟因素。过高延迟会导致用户交互延迟显著，严重损害用户体验，使系统难以实际应用。为此，本文提出 DLL-APNet，即 Distilled Low-Latency neural vocoder，通过从输入 mel 频谱图显式预测幅度与相位谱，再经逆短时傅里叶变换 (iSTFT) 重构语音波形。DLL-APNet 语音解码器利用因果卷积约束信息仅基于当前与历史语境，有效最小化延迟。为缓解因果约束导致的语音质量下降，提出知识蒸馏策略，使预训练的非因果教师解码器指导 DLL-APNet 学生解码器的中间特征生成。实验结果表明，所提 DLL-APNet 语音解码器在其他因果解码器语音质量更佳，同时计算资源更少。此外，DLL-APNet 语音解码器在语音质量上与主流非因果神经解码器持平，验证了其在提供高感知质量与低延迟方面的能力。
引用
@article{arxiv.2509.13667,
title = {A Distilled Low-Latency Neural Vocoder with Explicit Amplitude and Phase Prediction},
author = {Hui-Peng Du and Yang Ai and Zhen-Hua Ling},
journal= {arXiv preprint arXiv:2509.13667},
year = {2025}
}
备注
Accepted by APSIPA ASC 2025