BeatDance：一种基于节拍、模型无关的对比学习音乐-舞蹈检索框架
声音
2023-10-17 v1 信息检索
音频与语音处理
摘要
舞蹈与音乐是紧密相关的表达形式，舞蹈视频与音乐之间的相互检索是教育、艺术和体育等多个领域的基础任务。然而，现有方法常存在生成效果不自然或未能充分挖掘音乐与舞蹈相关性等问题。为克服这些挑战，我们提出 BeatDance，一种新颖的基于节拍、模型无关的对比学习框架。BeatDance 集成了节拍感知音乐-舞蹈信息提取器、跨时态节拍混合器以及节拍增强的中心性 reducer，通过利用音乐节拍与舞蹈动作之间的对齐来提升舞蹈-音乐检索性能。我们还引入了 Music-Dance（MD）数据集，一个包含超过 10,000 对音乐-舞蹈视频的大规模集合，用于训练与测试。在 MD 数据集上的实验结果表明，我们的方法优于现有基线，取得了最先进的性能。代码与数据集将在录用后公开。
引用
@article{arxiv.2310.10300,
title = {BeatDance: A Beat-Based Model-Agnostic Contrastive Learning Framework for Music-Dance Retrieval},
author = {Kaixing Yang and Xukun Zhou and Xulong Tang and Ran Diao and Hongyan Liu and Jun He and Zhaoxin Fan},
journal= {arXiv preprint arXiv:2310.10300},
year = {2023}
}