Dance2Music：基于舞蹈的自动音乐生成
声音
2021-07-21 v2 多媒体
音频与语音处理
摘要
舞蹈与音乐通常密不可分。舞蹈、音乐及其同步的复杂性使它们从计算创造力的角度成为引人入胜的研究对象。尽管已有若干工作研究为给定音乐生成舞蹈，但为给定舞蹈自动生成音乐仍鲜有探索。这一能力在创造性表达与娱乐方面具有多种应用。我们展示了在这一方向上的若干早期探索。我们提出了一种基于搜索的离线方法，在处理完整舞蹈视频后生成音乐；以及一种在线方法，利用深度神经网络在视频播放过程中实时生成音乐。我们通过人类评估将这些方法与一个强启发式基线进行比较，并给出我们的发现。我们已将在线方法集成到一个实时演示中！演示视频可在此处查看：https://sites.google.com/view/dance2music/live-demo。
引用
@article{arxiv.2107.06252,
title = {Dance2Music: Automatic Dance-driven Music Generation},
author = {Gunjan Aggarwal and Devi Parikh},
journal= {arXiv preprint arXiv:2107.06252},
year = {2021}
}