使用多头卷积神经网络进行快速谱图反演
声音
2018-12-26 v2 机器学习
音频与语音处理
摘要
我们提出多头卷积神经网络（MCNN）架构用于从谱图合成波形。MCNN 中采用非线性插值，在并行头中使用转置卷积层。MCNN 相比 Griffin-Lim 等常用迭代算法实现了超过一个数量级更高的计算强度，从而在现代多核处理器上得到高效利用，并实现非常快速（超过 300 倍实时）的波形合成。对于 MCNN 的训练，我们使用大规模语音识别数据集以及定义在波形上、与感知音频质量相关的损失。我们证明 MCNN 构成了一种非常有前景的高质量语音合成方法，且计算中无需任何迭代算法或自回归。
引用
@article{arxiv.1808.06719,
title = {Fast Spectrogram Inversion using Multi-head Convolutional Neural Networks},
author = {Sercan O. Arik and Heewoo Jun and Gregory Diamos},
journal= {arXiv preprint arXiv:1808.06719},
year = {2018}
}