APNet2：直接预测幅度与相位谱的高质量高效率神经声码器
音频与语音处理
2023-11-21 v1
摘要
在我们之前的工作中，我们提出了一种称为 APNet 的神经声码器，它从输入声学特征并行直接预测 5 ms 帧移的语音幅度与相位谱，然后使用逆短时傅里叶变换 (ISTFT) 重建 16 kHz 语音波形。APNet 展现出生成与 HiFi-GAN 声码器质量相当的合成语音的能力，且推理速度显著提升。然而，APNet 声码器的性能受限于波形采样率与频谱帧移，限制了其在高质量语音合成中的实用性。因此，本文提出 APNet 的改进版本，名为 APNet2。所提 APNet2 声码器采用 ConvNeXt v2 作为幅度与相位预测的骨干网络，以期增强建模能力。此外，我们在基于 GAN 的损失中引入多分辨率判别器 (MRD)，并优化某些损失的形式。在波形采样率 22.05 kHz、频谱帧移 256 点（约 11.6 ms）的常用配置下，我们提出的 APNet2 声码器在合成语音质量上优于原始 APNet 与 Vocos 声码器。APNet2 的合成语音质量也与 HiFi-GAN 和 iSTFTNet 相当，同时提供显著更快的推理速度。
引用
@article{arxiv.2311.11545,
title = {APNet2: High-quality and High-efficiency Neural Vocoder with Direct Prediction of Amplitude and Phase Spectra},
author = {Hui-Peng Du and Ye-Xin Lu and Yang Ai and Zhen-Hua Ling},
journal= {arXiv preprint arXiv:2311.11545},
year = {2023}
}