通过增强隐式解耦实现多角色人物图像动画
计算机视觉与模式识别
2025-03-04 v4
摘要
可控人物图像动画具有广泛的应用前景。尽管现有研究不断改进性能，但该领域仍面临挑战，尤其是涉及复杂背景和多角色任务时的稳定性问题。为此，我们提出一种新型的多条件引导框架用于人物图像动画，采用若干设计精妙的输入模块以增强模型的隐式解耦能力。首先，光流引导器计算背景光流图作为指导信息，使模型在训练期间能够隐式学习将背景运动解耦为背景常数和背景动量，并在推理时通过设定背景动量为零来生成稳定的背景。其次，深度顺序引导器计算角色顺序图，将深度信息转化为多角色的位置信息。这有助于隐式学习解耦不同的角色，尤其在准确分离多角色遮挡身体部位方面尤为关键。再者，参考姿态图的输入可增强模型在参考图像中解耦角色纹理与姿态信息的能力。此外，为弥合多角色人物图像动画公平评估的差距，我们构建了一个包含约 4000 帧的新基准。广泛的定性和定量评估表明，我们的方法在生成高质量人物动画方面表现出色，尤其是在复杂背景和多角色场景中表现突出。
引用
@article{arxiv.2406.03035,
title = {Towards Multiple Character Image Animation Through Enhancing Implicit Decoupling},
author = {Jingyun Xue and Hongfa Wang and Qi Tian and Yue Ma and Andong Wang and Zhiyuan Zhao and Shaobo Min and Wenzhe Zhao and Kaihao Zhang and Heung-Yeung Shum and Wei Liu and Mengyang Liu and Wenhan Luo},
journal= {arXiv preprint arXiv:2406.03035},
year = {2025}
}