HiFTNet：一种具有谐波加噪声滤波器与逆短时傅里叶变换的快速高质量神经声码器
音频与语音处理
2023-09-19 v1 人工智能
声音
摘要
语音合成的最新进展已利用 HiFi-GAN 和 BigVGAN 等基于 GAN 的网络从梅尔谱图生成高保真波形。然而，这些网络计算开销大且参数繁重。iSTFTNet 通过将逆短时傅里叶变换 (iSTFT) 集成到网络中，解决了这些限制，实现了速度与参数效率。本文中，我们引入 iSTFTNet 的一个扩展，称为 HiFTNet，其在时频域中加入了谐波加噪声源滤波器，该滤波器使用通过预训练 F0 估计网络推断出的基频 (F0) 正弦源以实现快速推断速度。在 LJSpeech 上的主观评价表明，我们的模型显著优于 iSTFTNet 和 HiFi-GAN，达到了真值水平的性能。HiFTNet 在 LibriTTS 上对未见说话人也优于 BigVGAN-base，并在仅用 参数的情况下达到比 BigVGAN 快四倍且与 BigVGAN 相当的性能。我们的工作为高效、高质量的神经声码器设立了新基准，为需要高质量语音合成的实时应用铺平了道路。
引用
@article{arxiv.2309.09493,
title = {HiFTNet: A Fast High-Quality Neural Vocoder with Harmonic-plus-Noise Filter and Inverse Short Time Fourier Transform},
author = {Yinghao Aaron Li and Cong Han and Xilin Jiang and Nima Mesgarani},
journal= {arXiv preprint arXiv:2309.09493},
year = {2023}
}