利用GAN与集成非对齐干净数据的改进无监督干净到渲染吉他音调转换
声音
2024-06-25 v1 音频与语音处理
摘要
近年来,越来越多的研究关注将深度学习方法应用于吉他放大器或效果踏板的建模。现有方法主要基于监督方法,需要成对的未处理和渲染音频数据。然而,由于创建数据对的过程较为复杂，这种方法难以扩展。最近的工作 Wright等人探索了利用未成对数据进行训练的潜力,采用基于生成对抗网络(GAN)的框架。本文通过采用更先进的判别器,并使用更多未成对数据进行训练来扩展其工作。具体而言,我们受最新神经声码器进展的启发,在基于GAN的吉他放大器建模框架中采用两种判别器:一种基于多尺度判别器(MSD),另一种基于多周期判别器(MPD)。此外,我们实验性地加入一些没有对应目标音调渲染音频的未处理音频信号,以测试GAN模型从未成对数据中获益的程度。我们的实验表明,本文提出的两种改进对低增益和高增益吉他放大器的建模都有所帮助。
引用
@article{arxiv.2406.15751,
title = {Improving Unsupervised Clean-to-Rendered Guitar Tone Transformation Using GANs and Integrated Unaligned Clean Data},
author = {Yu-Hua Chen and Woosung Choi and Wei-Hsiang Liao and Marco Martínez-Ramírez and Kin Wai Cheuk and Yuki Mitsufuji and Jyh-Shing Roger Jang and Yi-Hsuan Yang},
journal= {arXiv preprint arXiv:2406.15751},
year = {2024}
}
备注
Accepted to DAFx 2024