利用 VAE 检视并与有意义音乐表示交互
声音
2019-04-19 v1 人机交互
信息检索
机器学习
音频与语音处理
摘要
变分自编码器（VAEs）已在图像生成上取得优异结果，近来在音乐生成上也展现出可喜进展。然而，生成过程仍难以控制，因为所学潜表示缺乏有意义的音乐语义。若人们能通过潜表示修改某些音乐特征（如节奏与音高轮廓）以测试不同作曲想法，则将大有裨益。本文提出一种检视潜表示的音高与节奏解释的新方法，并命名为增强解耦（disentanglement by augmentation）。基于可解释表示，设计了一个直观的图形用户界面，供用户通过操控音高轮廓与节奏复杂度来更好地引导音乐创作过程。
引用
@article{arxiv.1904.08842,
title = {Inspecting and Interacting with Meaningful Music Representations using VAE},
author = {Ruihan Yang and Tianyao Chen and Yiyi Zhang and Gus Xia},
journal= {arXiv preprint arXiv:1904.08842},
year = {2019}
}
备注
Accepted for poster at the International Conference on New Interfaces for Musical Expression (NIME), June 2019