中文

基于条件变分自编码器域对抗训练的可控音乐生成

声音 2022-09-16 v1 音频与语音处理

摘要

变分自编码器已成为符号音乐生成的领先框架,一个热门研究方向是研究如何有效控制信号生成过程。一种直接方式是在推理时使用不同条件控制模型。然而,在音乐实践中,条件通常是序列化的(而非简单类别标签),涉及与所学表示重叠的丰富信息。结果,解码器对于该“听”隐表示还是条件感到困惑,有时干脆忽略条件。为解决此问题,我们利用域对抗训练将表示与条件线索解耦以实现更好控制。具体而言,我们提出一种条件损坏目标,利用表示对损坏条件去噪。该目标由判别器最小化、由 VAE 编码器最大化,从而对抗性地诱导出条件不变表示。本文中我们聚焦于旋律和声化任务以阐释我们的思路,而我们的方法可推广至其他可控生成任务。演示与实验表明,相较基线,我们的方法不仅有助于条件不变表示学习,也带来更高质量的可控性。

关键词

引用

@article{arxiv.2209.07144,
  title  = {Domain Adversarial Training on Conditional Variational Auto-Encoder for Controllable Music Generation},
  author = {Jingwei Zhao and Gus Xia and Ye Wang},
  journal= {arXiv preprint arXiv:2209.07144},
  year   = {2022}
}

备注

Accepted by ISMIR 2022