HyperGANStrument：基于音高不变超网络的乐器声音合成与编辑
声音
2024-01-10 v1 机器学习
音频与语音处理
摘要
GANStrument 利用具有音高不变特征提取器和实例条件技术的 GAN，在合成逼真乐器声音方面展现了卓越能力。为进一步提升重建能力和音高准确性，以增强用户提供声音的可编辑性，我们提出了 HyperGANStrument。该模型引入了一个音高不变超网络，以单次输入声音为条件，调制预训练 GANStrument 生成器的权重。超网络调制为生成器重建输入声音提供反馈。此外，我们利用对超网络的对抗性微调方案，以提高生成器的重建保真度和生成多样性。实验结果表明，所提模型不仅增强了 GANStrument 的生成能力，还显著提升了合成声音的可编辑性。音频示例可在在线演示页面获取。
引用
@article{arxiv.2401.04558,
title = {HyperGANStrument: Instrument Sound Synthesis and Editing with Pitch-Invariant Hypernetworks},
author = {Zhe Zhang and Taketo Akama},
journal= {arXiv preprint arXiv:2401.04558},
year = {2024}
}
备注
5 pages, 3 figures, Accepted for 2024 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), Audio examples: https://noto.li/MLIuBC