DanceIt：受音乐启发的舞蹈视频合成

闭上眼睛聆听音乐，人们可以轻易想象出一位演员正伴随音乐有节奏地跳舞。这些舞蹈动作通常由你以前见过的舞蹈动作组成。在本文中，我们提出在一个计算机视觉系统中重现人类这种固有的能力。所提出的系统由三个模块组成。为了探索音乐与舞蹈动作之间的关系，我们提出了一个跨模态对齐模块，该模块专注于伴随预设音乐的舞蹈视频片段，以学习一个能够判断姿态序列的视觉特征与音乐的声学特征之间一致性的系统。学习到的模型随后在想象模块中用于为给定音乐选择姿态序列。然而，这样从音乐中选择的姿态序列通常是不连续的。为了解决这个问题，在时空对齐模块中，我们开发了一种基于舞蹈动作趋势和周期性的空间对齐算法，以预测不连续片段之间的舞蹈动作。此外，所选的姿态序列通常与音乐节拍不对齐。为了解决这个问题，我们进一步开发了一种时间对齐算法，以对齐音乐和舞蹈的节奏。最后，处理后的姿态序列被用于在想象模块中合成逼真的舞蹈视频。生成的舞蹈视频与音乐的内容和节奏相匹配。实验结果和主观评价表明，所提出的方法能够实现通过输入音乐来生成有前景的舞蹈视频的功能。