中文

准周期 Parallel WaveGAN:一种具有依赖音高膨胀卷积神经网络的非自回归原始波形生成模型

音频与语音处理 2021-02-22 v3 声音

摘要

在本文中,我们提出了一种准周期 parallel WaveGAN (QPPWG) 波形生成模型,该模型通过使用依赖音高的膨胀卷积网络 (PDCNNs),将准周期 (QP) 结构应用于 parallel WaveGAN (PWG) 模型。PWG 是一种基于 GAN 的小占用面积原始波形生成模型,由于其紧凑的模型以及非自回归 和非因果机制,其生成时间远快于实时。尽管 PWG 实现了高保真语音生成,但其通用且简单的网络架构对于未见过的辅助基频 (F0F_{0}) 特征(例如缩放的 F0F_{0})缺乏音高可控性。为了提高音高可控性和语音建模能力,我们将带有 PDCNNs 的 QP 结构应用于 PWG,通过根据辅助 F0F_{0} 特征动态改变网络架构,将音高信息引入网络。客观和主观实验结果均表明,当辅助 F0F_{0} 特征被缩放时,QPPWG 优于 PWG。此外,对 QPPWG 中间输出的分析也显示了 QPPWG 更好的可处理性和可解释性,它分别使用 QP 结构的级联固定块和自适应块对类谱信号和类激励信号进行建模。

关键词

引用

@article{arxiv.2007.12955,
  title  = {Quasi-Periodic Parallel WaveGAN: A Non-autoregressive Raw Waveform Generative Model with Pitch-dependent Dilated Convolution Neural Network},
  author = {Yi-Chiao Wu and Tomoki Hayashi and Takuma Okamoto and Hisashi Kawai and Tomoki Toda},
  journal= {arXiv preprint arXiv:2007.12955},
  year   = {2021}
}

备注

15 pages, 10 figures, 8 tables