愿舞蹈与你同在：面向非人形智能体的舞蹈生成框架

我们假设舞蹈是一种从音乐中形成视觉节奏的运动，其中视觉节奏可以从光流中感知。如果一个智能体能够识别视觉节奏与音乐之间的关系，它就能通过生成运动来创建与音乐匹配的视觉节奏，从而学会跳舞。基于此，我们提出了一个框架，使任何类型的非人形智能体能够从人类视频中学习跳舞。我们的框架通过两个过程工作：(1) 训练一个奖励模型，该模型从人类舞蹈视频中感知光流（视觉节奏）与音乐之间的关系；(2) 基于该奖励模型和强化学习训练非人形舞者。我们的奖励模型由光流和音乐的两个特征编码器组成，它们基于对比学习进行训练，使得同时刻的光流和音乐特征具有更高的相似性。通过这个奖励模型，智能体通过获得更高奖励来学习跳舞，即当它的动作产生的光流特征与给定音乐特征具有更高相似性时。实验结果表明，生成的舞蹈动作能够与音乐节拍良好对齐，用户研究结果表明，与基线相比，人类更偏好我们的框架。据我们所知，我们的工作——非人形智能体从人类视频学习舞蹈——是前所未有的。示例视频可在 \url{https://youtu.be/dOUPvo-O3QY} 找到。