感知即控制：基于3D感知运动表示的细粒度可控图像动画
计算机视觉与模式识别
2025-03-11 v2
摘要
可控运动图像动画是一项具有广泛应用潜力的基础任务。近期研究通过多种运动表示方法实现了对相机或物体运动的控制，但仍难以支持具有自适应控制粒度的协作式相机与物体运动控制。为此，我们引入3D感知运动表示，提出一种名为感知即控制（Perception-as-Control）的图像动画框架，以实现细粒度的协作式运动控制。具体而言，我们从参考图像构建3D感知运动表示，依据用户指令进行操控，并从不同视角进行感知。如此一来，相机与物体运动被转化为直观且一致的视觉变化。随后，我们的框架将感知结果作为运动控制信号，实现了对多种运动相关视频合成任务的统一且灵活的支持。实验表明，所提方法具有优势。更多细节及定性结果，请参阅我们的匿名项目网页：https://chen-yingjie.github.io/projects/Perception-as-Control。
引用
@article{arxiv.2501.05020,
title = {Perception-as-Control: Fine-grained Controllable Image Animation with 3D-aware Motion Representation},
author = {Yingjie Chen and Yifang Men and Yuan Yao and Miaomiao Cui and Liefeng Bo},
journal= {arXiv preprint arXiv:2501.05020},
year = {2025}
}