MDSC：面向音乐与舞蹈风格一致性的评估方法
声音
2023-12-04 v3 计算机视觉与模式识别
音频与语音处理
摘要
我们提出 MDSC（Music-Dance-Style Consistency，音乐-舞蹈-风格一致性），这是首个评估舞蹈动作与音乐匹配程度的指标。现有指标仅能评估运动保真度、多样性以及音乐与舞蹈之间的节奏匹配程度。MDSC 衡量生成的舞蹈运动序列与条件音乐序列在风格上的相关程度。我们发现直接测量运动与音乐之间的嵌入距离并非最优解，转而将其建模为聚类问题。具体而言：1）我们预训练一个音乐编码器和一个运动编码器；2）通过联合最小化类内距离并最大化类间距离，学习将运动与音乐嵌入映射并对齐到联合空间中；3）在评估时，我们将舞蹈动作编码为嵌入，并测量类内距离、类间距离及其比值。我们在多种音乐条件运动生成方法的结果上评估该指标，结合用户研究，发现我们所提出的指标在衡量音乐-舞蹈风格相关性方面是一种鲁棒的评估指标。
引用
@article{arxiv.2309.01340,
title = {MDSC: Towards Evaluating the Style Consistency Between Music and Dance},
author = {Zixiang Zhou and Weiyuan Li and Baoyuan Wang},
journal= {arXiv preprint arXiv:2309.01340},
year = {2023}
}
备注
19 pages, 19 figure