GANStrument：基于音高不变实例条件化的对抗式乐器声音合成
声音
2023-03-08 v2 机器学习
音频与语音处理
摘要
我们提出了 GANStrument，一种用于乐器声音合成的生成对抗模型。给定一个单次发声作为输入，它能够在交互时间内生成反映输入音色的有音高乐器声音。通过利用实例条件化，GANStrument 在合成声音的保真度、多样性以及对各种输入的泛化能力上均取得了更好的表现。此外，我们为音高不变特征提取器引入了一种对抗训练方案，显著提高了音高准确性和音色一致性。实验结果表明，在生成质量和输入可编辑性方面，GANStrument 优于不使用实例条件化的强基线模型。定性示例可在线获取。
引用
@article{arxiv.2211.05385,
title = {GANStrument: Adversarial Instrument Sound Synthesis with Pitch-invariant Instance Conditioning},
author = {Gaku Narita and Junichi Shimizu and Taketo Akama},
journal= {arXiv preprint arXiv:2211.05385},
year = {2023}
}
备注
5 pages, 4 figures, Accepted to 2023 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), Audio examples: https://ganstrument.github.io/ganstrument-demo/