Duolando：基于离策略强化学习的跟随者 GPT 用于舞蹈伴奏

我们在3D舞蹈生成领域引入了一项新任务，称为舞蹈伴奏，该任务要求根据领舞者的动作和底层音乐节奏生成舞伴（即“跟随者”）的响应动作。与现有的独舞或群舞生成任务不同，双人舞蹈场景需要两位参与者之间更高程度的交互，要求在姿态和位置上进行精细的协调。为支持该任务，我们首先通过录制约117分钟的专业舞者表演，构建了一个大规模且多样化的双人交互舞蹈数据集 DD100。为应对该任务固有的挑战，我们提出了一种基于 GPT 的模型 Duolando，该模型以音乐、领舞者和跟随者动作的协调信息为条件，自回归地预测后续的词元化动作。为进一步增强 GPT 在未见条件（音乐和领舞者动作）下生成稳定结果的能力，我们设计了一种离策略强化学习策略，允许模型在人为定义奖励的引导下，从分布外采样中探索可行的轨迹。基于收集的数据集和所提出的方法，我们建立了一个包含若干精心设计指标的基准。