HarmonySet：用于理解视频音乐语义对齐与时间同步的综合数据集
计算机视觉与模式识别
2025-03-05 v2
摘要
本文介绍 HarmonySet，这是一个综合数据集，旨在推进视频音乐理解。HarmonySet 由 48,328 对多样化的视频音乐配对组成，标注了节奏同步、情感对齐、主题连贯性和文化相关性等详细信息。我们提出了一种人机协作框架，用于高效标注，结合人类洞察力与机器生成的描述，以识别关键转换并评估跨多个维度的对齐。此外，我们引入了一个新评估框架，包含用于评估视频与音乐多维对齐的任务和指标，包括节奏、情感、主题和文化语境。我们的大量实验表明，HarmonySet 以及提出的评估框架显著提高了多模态模型捕捉和分析视频与音乐之间复杂关系的能力。
引用
@article{arxiv.2503.01725,
title = {HarmonySet: A Comprehensive Dataset for Understanding Video-Music Semantic Alignment and Temporal Synchronization},
author = {Zitang Zhou and Ke Mei and Yu Lu and Tianyi Wang and Fengyun Rao},
journal= {arXiv preprint arXiv:2503.01725},
year = {2025}
}
备注
Accepted at CVPR 2025. Project page: https://harmonyset.github.io/