GLA-Grad：一种扩展的 Griffin-Lim 波形生成扩散模型
声音
2024-02-27 v1 机器学习
音频与语音处理
信号处理
摘要
扩散模型在语音或音乐合成等各种信号生成任务中正受到越来越多的关注。例如，WaveGrad 是一个成功的扩散模型，它条件性地使用梅尔频谱图来引导扩散过程以生成高保真音频。然而，此类模型在训练和推理的噪声扩散过程方面面临重要挑战，并且难以为训练期间未见过的说话人生成高质量语音。为了最小化条件误差并提高噪声扩散过程的效率，本文提出了一种名为 GLA-Grad 的新方案，该方案包括在常规扩散过程的每一步引入相位恢复算法，如 Griffin-Lim 算法 (GLA)。此外，它可以直接应用于已训练的波形生成模型，无需额外的训练或微调。我们表明，我们的算法在语音生成方面优于最先进的扩散模型，特别是在为以前未见过的目标说话人生成语音时。
引用
@article{arxiv.2402.15516,
title = {GLA-Grad: A Griffin-Lim Extended Waveform Generation Diffusion Model},
author = {Haocheng Liu and Teysir Baoueb and Mathieu Fontaine and Jonathan Le Roux and Gael Richard},
journal= {arXiv preprint arXiv:2402.15516},
year = {2024}
}
备注
Accepted at ICASSP 2024