iSTFTNet2：基于iSTFT并使用1D-2D CNN的更快速、更轻量神经声码器
声音
2023-08-15 v1 机器学习
音频与语音处理
机器学习
摘要
逆短时傅里叶变换网络（iSTFTNet）因其快速、轻量且高保真的语音合成而受到关注。它使用快速轻量的1D CNN作为主干，并将部分神经处理替换为iSTFT，从而获得这些特性。由于1D CNN难以建模高维谱图，通过时间上采样来降低频率维度。然而，该策略损害了提升速度的潜力。因此，我们提出iSTFTNet2，一种改进的iSTFTNet变体，采用1D-2D CNN，分别使用1D和2D CNN来建模时间和谱图结构。我们设计了一种2D CNN，在少频率空间中进行转换后执行频率上采样。该设计有助于在不牺牲速度的情况下建模高维谱图。结果表明，iSTFTNet2使iSTFTNet更快、更轻量，且语音质量相当。音频样本可在 https://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/istftnet2/ 获取。
引用
@article{arxiv.2308.07117,
title = {iSTFTNet2: Faster and More Lightweight iSTFT-Based Neural Vocoder Using 1D-2D CNN},
author = {Takuhiro Kaneko and Hirokazu Kameoka and Kou Tanaka and Shogo Seki},
journal= {arXiv preprint arXiv:2308.07117},
year = {2023}
}
备注
Accepted to Interspeech 2023. Project page: https://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/istftnet2/