CoDance：用于鲁棒多主体动画的解绑-重绑定范式

由于对鲁棒且灵活的多主体渲染的需求，角色图像动画在各个领域的重要性日益凸显。虽然现有方法在单人动画方面表现出色，但在处理任意主体数量、多样化角色类型以及参考图像与驱动姿态之间的空间错位时存在困难。我们将这些局限性归因于过于刚性的空间绑定，这种绑定强制姿态与参考之间进行严格的像素级对齐，以及无法将运动一致地重绑定到目标主体上。为了应对这些挑战，我们提出了 CoDance，一种新颖的解绑-重绑定框架，该框架能够在单一且可能错位的姿态序列条件下，实现任意主体数量、类型和空间配置的动画。具体而言，解绑模块采用了一种新颖的姿态偏移编码器，通过对姿态及其潜在特征引入随机扰动，打破姿态与参考之间刚性的空间绑定，从而迫使模型学习与位置无关的运动表示。为了确保精确的控制和主体关联，我们随后设计了一个重绑定模块，利用来自文本提示的语义指导和来自主体掩码的空间指导，将学习到的运动引导至目标角色。此外，为了促进全面评估，我们引入了一个新的多主体基准 CoDanceBench。在 CoDanceBench 和现有数据集上的大量实验表明，CoDance 实现了 SOTA 性能，在多样化的主体和空间布局上展现出卓越的泛化能力。代码和权重将开源。