与你共舞：基于扩散模型的多样性可控舞伴生成

近年来，虚拟环境中用于人际交互的数字人受到了显著关注。在本文中，我们引入了一项称为舞伴生成的新型多人舞蹈合成任务，其涉及合成能够与用户共舞的虚拟人类舞者。该任务旨在控制领舞者与舞伴之间的姿态多样性。任务核心是在保持与领舞者时间协调的同时，确保生成舞伴的可控多样性。该场景不同于先前由音乐驱动生成舞蹈动作的研究，因为我们的重点是依据预定义多样性、领舞者姿态以及伴随乐曲自动设计舞伴姿态。为实现此目标，我们提出了一个称为 Dance-with-You（DanY）的三阶段框架。首先，我们采用 3D 姿态收集阶段收集广泛的基本舞蹈姿态作为动作生成参考。然后，我们引入一个超参数，通过掩码姿态来协调舞者间相似性，以防止生成过度多样或完全一致的序列。为避免动作僵硬，我们设计了舞蹈预生成阶段来预生成这些掩码姿态，而非用零填充。之后，采用舞蹈动作迁移阶段结合领舞序列与音乐，其中重写多条件采样公式以将预生成姿态迁移为具有舞伴风格的动作序列。实践中，为解决多人数据集的缺乏，我们引入了 AIST-M，一个用于舞伴生成的公开可用新数据集。在我们 AIST-M 数据集上的综合评估表明，所提出的 DanY 能够合成具有可控多样性的满意舞伴结果。