音乐与视频中艺术层面对应关系的时机已至

我们提出一种为给定视频推荐配乐、反之亦然的方法，该方法基于两者的时间对齐及其在艺术层面的对应关系。我们提出了一种自监督方法，可直接从数据中学习此对应关系，无需任何人工标注。为捕捉解决该任务所需的高层概念，我们提出对视频与音乐信号的长期时间上下文进行建模，对各模态均使用 Transformer 网络。实验表明，该方法大幅优于不利用时间上下文的替代方案。我们的各项贡献相结合，将检索精度较先前最优水平提升高达 10 倍。这一显著提升使我们能引入广泛的分析与应用。例如，我们可基于视觉定义的属性来条件化音乐检索。