AnimateAnywhere：在人像动画中唤醒背景
计算机视觉与模式识别
2025-08-26 v2
摘要
人像动画旨在生成给定角色和背景的序列人物视频，需符合期望的姿态序列。然而，现有方法侧重于人物动作，忽略了背景的生成，导致结果呈现静态或不协调的运动。社区已探索相机姿态引导的动画任务，但准备相机轨迹对大多数娱乐应用和普通用户而言并不实用。为此，我们提出了AnimateAnywhere框架，通过无需相机轨迹的方式在人像动画中唤醒背景。具体而言，基于我们关于人体运动常反映背景运动的关键洞察，我们引入背景运动学习器(BML)从人体姿态序列中学习背景运动。为鼓励模型学习更精确的跨帧对应关系，我们进一步在3D注意力图上部署三角测量约束。具体地，用于抑制几何不合理注意力的掩码，通过结合三角测量掩码和当前3D注意力图精心构建。广泛的实验表明，我们的AnimateAnywhere有效地从人体姿态序列中学习背景运动，在生成具有生动和真实背景的人物动画结果方面实现了最好的性能。源码和模型将发布于https://github.com/liuxiaoyu1104/AnimateAnywhere。
引用
@article{arxiv.2504.19834,
title = {AnimateAnywhere: Rouse the Background in Human Image Animation},
author = {Xiaoyu Liu and Mingshuai Yao and Yabo Zhang and Xianhui Lin and Peiran Ren and Xiaoming Li and Ming Liu and Wangmeng Zuo},
journal= {arXiv preprint arXiv:2504.19834},
year = {2025}
}