APNet：一种融合幅度与相位谱直接预测的全帧级神经声码器
声音
2023-05-16 v1 音频与语音处理
摘要
本文提出一种名为 APNet 的新型神经声码器，其通过直接预测幅度谱与相位谱从声学特征重建语音波形。APNet 声码器由幅度谱预测器（ASP）与相位谱预测器（PSP）组成。ASP 是一个残差卷积网络，从声学特征预测帧级对数幅度谱。PSP 同样采用以声学特征为输入的残差卷积网络，随后将该网络输出分别通过两个并行线性卷积层，最后整合进一个相位计算公式计算帧级相位谱。最终，ASP 与 PSP 的输出通过逆短时傅里叶变换（ISTFT）结合以重建语音波形。ASP 与 PSP 的所有操作均在帧级进行。我们联合训练 ASP 与 PSP，并基于幅度均方误差、相位反缠绕误差、短时谱不一致误差与时域重建误差定义了多级损失函数。实验结果表明，由于全帧级操作，我们提出的 APNet 声码器在 CPU 上的推理速度约为 HiFi-GAN v1 的 8 倍，而其合成语音质量与 HiFi-GAN v1 相当。APNet 声码器的合成语音质量也优于若干同等高效的模型。消融实验还证实，所提出的并行相位估计架构对相位建模至关重要，且所提损失函数有助于提升合成语音质量。
引用
@article{arxiv.2305.07952,
title = {APNet: An All-Frame-Level Neural Vocoder Incorporating Direct Prediction of Amplitude and Phase Spectra},
author = {Yang Ai and Zhen-Hua Ling},
journal= {arXiv preprint arXiv:2305.07952},
year = {2023}
}
备注
Accepted by IEEE/ACM Transactions on Audio, Speech, and Language Processing. Codes are available