基于片段时间对齐的视频到音乐推荐
多媒体
2023-06-13 v1 信息检索
机器学习
声音
音频与语音处理
摘要
我们研究跨模态的音乐曲目推荐，将其用作视频的配乐。该问题被称为音乐监制任务。我们基于一个自监督系统，其学习音乐与视频之间的内容关联。除内容适配性外，在音乐监制中结构适配性对于获得相关推荐也至关重要。我们提出一种新方法，利用结构感知推荐显著提升系统性能。核心思想是不仅考虑完整的音视频片段，而是使用更短的片段进行训练与推断。我们发现使用语义片段并根据序列对齐代价对曲目排序可显著改进结果。我们考察了不同排序度量与分割方法的影响。
引用
@article{arxiv.2306.07187,
title = {Video-to-Music Recommendation using Temporal Alignment of Segments},
author = {Laure Prétet and Gaël Richard and Clément Souchier and Geoffroy Peeters},
journal= {arXiv preprint arXiv:2306.07187},
year = {2023}
}