基于潜表示解耦的深度音乐类比
声音
2019-10-22 v4 信息检索
机器学习
音频与语音处理
机器学习
摘要
类比生成是计算机算法生成自然且富有创造性音乐片段的关键方法。一般而言,类比通过将音乐抽象(即高层表示及其关系)从一首曲子部分迁移至另一首来达成;然而,该过程需要解耦音乐表示,这对音乐家通常轻而易举,对计算机却非平凡。由此产生三个子问题:从观测中提取潜表示、解耦表示使各部分具有唯一语义解释、将潜表示映射回实际音乐。本文提出一种显式约束变分自编码器(EC-VAE)作为这三个子问题的统一解决方案。我们聚焦于以和弦为条件解耦 8 小节音乐片段的音高与节奏表示。在生成音乐类比时,该模型借助从其他曲子借用的表示,帮助我们实现“如果”一首曲子使用不同音高轮廓、节奏模式或和弦进行创作的想象情境。最后,我们通过客观测量验证所提解耦方法,并通过主观研究评估类比样例。
引用
@article{arxiv.1906.03626,
title = {Deep Music Analogy Via Latent Representation Disentanglement},
author = {Ruihan Yang and Dingsu Wang and Ziyu Wang and Tianyao Chen and Junyan Jiang and Gus Xia},
journal= {arXiv preprint arXiv:1906.03626},
year = {2019}
}
备注
Accepted at the International Society for Music Information Retrieval (ISMIR), 2019