Animate Anyone 2：具有环境可供性的高保真角色图像动画
计算机视觉与模式识别
2025-02-11 v1
摘要
近期基于扩散模型的角色图像动画方法，如 Animate Anyone，在生成一致且可泛化的角色动画方面取得了显著进展。然而，这些方法无法在角色与其环境之间产生合理的关联。为解决这一局限，我们引入了 Animate Anyone 2，旨在为角色赋予环境可供性（environment affordance）的动画。除了从源视频中提取运动信号外，我们还额外捕获环境表征作为条件输入。环境被形式化为排除角色后的区域，我们的模型生成角色以填充这些区域，同时保持与环境上下文的连贯性。我们提出了一种形状无关的掩码策略，更有效地刻画了角色与环境之间的关系。此外，为增强物体交互的保真度，我们利用物体引导器（object guider）提取交互物体的特征，并采用空间混合（spatial blending）进行特征注入。我们还引入了一种姿态调制策略，使模型能够处理更多样化的运动模式。实验结果证明了所提方法的优越性能。
引用
@article{arxiv.2502.06145,
title = {Animate Anyone 2: High-Fidelity Character Image Animation with Environment Affordance},
author = {Li Hu and Guangyuan Wang and Zhen Shen and Xin Gao and Dechao Meng and Lian Zhuo and Peng Zhang and Bang Zhang and Liefeng Bo},
journal= {arXiv preprint arXiv:2502.06145},
year = {2025}
}
备注
Project Page: https://humanaigc.github.io/animate-anyone-2/