准周期 Parallel WaveGAN:一种具有依赖音高膨胀卷积神经网络的非自回归原始波形生成模型
音频与语音处理
2021-02-22 v3 声音
摘要
在本文中,我们提出了一种准周期 parallel WaveGAN (QPPWG) 波形生成模型,该模型通过使用依赖音高的膨胀卷积网络 (PDCNNs),将准周期 (QP) 结构应用于 parallel WaveGAN (PWG) 模型。PWG 是一种基于 GAN 的小占用面积原始波形生成模型,由于其紧凑的模型以及非自回归 和非因果机制,其生成时间远快于实时。尽管 PWG 实现了高保真语音生成,但其通用且简单的网络架构对于未见过的辅助基频 () 特征(例如缩放的 )缺乏音高可控性。为了提高音高可控性和语音建模能力,我们将带有 PDCNNs 的 QP 结构应用于 PWG,通过根据辅助 特征动态改变网络架构,将音高信息引入网络。客观和主观实验结果均表明,当辅助 特征被缩放时,QPPWG 优于 PWG。此外,对 QPPWG 中间输出的分析也显示了 QPPWG 更好的可处理性和可解释性,它分别使用 QP 结构的级联固定块和自适应块对类谱信号和类激励信号进行建模。
引用
@article{arxiv.2007.12955,
title = {Quasi-Periodic Parallel WaveGAN: A Non-autoregressive Raw Waveform Generative Model with Pitch-dependent Dilated Convolution Neural Network},
author = {Yi-Chiao Wu and Tomoki Hayashi and Takuma Okamoto and Hisashi Kawai and Tomoki Toda},
journal= {arXiv preprint arXiv:2007.12955},
year = {2021}
}
备注
15 pages, 10 figures, 8 tables