Foley Music：从视频中学习生成音乐
计算机视觉与模式识别
2020-07-22 v1 机器学习
声音
音频与语音处理
摘要
本文提出 Foley Music，一个能够为人们演奏乐器的无声视频片段合成合理音乐的系统。我们首先确定了成功的视频到音乐生成器的两个关键中间表示：视频中的身体关键点与音频录音中的 MIDI 事件。随后，我们将从视频生成音乐表述为一个动作到 MIDI 的转换问题。我们提出一个 Graph-Transformer 框架，能够依据身体动作准确预测 MIDI 事件序列。该 MIDI 事件随后可使用现成的音乐合成器工具转换为逼真的音乐。我们在包含多种音乐表演的视频上展示了模型的有效性。实验结果表明，我们的模型在生成悦耳音乐方面优于若干现有系统。更重要的是，MIDI 表示完全可解释且透明，从而使我们能够灵活地进行音乐编辑。我们建议读者打开音频观看演示视频以体验结果。
引用
@article{arxiv.2007.10984,
title = {Foley Music: Learning to Generate Music from Videos},
author = {Chuang Gan and Deng Huang and Peihao Chen and Joshua B. Tenenbaum and Antonio Torralba},
journal= {arXiv preprint arXiv:2007.10984},
year = {2020}
}
备注
ECCV 2020. Project page: http://foley-music.csail.mit.edu