EverybodyDance:基于二分图的多角色动画身份对应
计算机视觉与模式识别
2025-12-19 v1
摘要
一致的姿态驱动角色动画在单角色场景中已取得显著进展。然而,将这些进展扩展到多角色场景并非易事,尤其是在涉及位置交换的情况下。除简单的缩放外,核心挑战在于确保参考帧和生成帧中角色之间的身份对应(IC)正确。为了解决这一问题,我们提出了EverybodyDance,一个针对多角色动画中IC正确性的系统性解决方案。EverybodyDance围绕身份匹配图(IMG)构建,该图将生成帧和参考帧中的角色建模为加权完全二分图中的两个节点集。边权重通过我们所提出的掩码查询注意力(MQA)计算,量化每对角色之间的亲和度。我们的关键洞察是将IC正确性形式化为图结构度量,并在训练过程中对其进行优化。我们还提出了一系列针对多角色动画的针对性策略,包括身份嵌入引导、多尺度匹配策略和预分类采样,它们协同工作。最后,为了评估IC性能,我们整理了身份对应评估基准,专门用于多角色IC正确性评估。大量实验表明,EverybodyDance在IC和视觉保真度两方面均显著优于现有先进基线方法。
引用
@article{arxiv.2512.16360,
title = {EverybodyDance: Bipartite Graph-Based Identity Correspondence for Multi-Character Animation},
author = {Haotian Ling and Zequn Chen and Qiuying Chen and Donglin Di and Yongjia Ma and Hao Li and Chen Wei and Zhulin Tao and Xun Yang},
journal= {arXiv preprint arXiv:2512.16360},
year = {2025}
}