ObjCtrl-2.5D:无需训练的基于相机位姿的对象控制
计算机视觉与模式识别
2025-06-25 v2
摘要
本研究旨在实现图像到视频（I2V）生成中更精确、更通用的对象控制。当前方法通常用二维轨迹表示目标对象的空间运动，这往往无法捕捉用户意图，并经常产生不自然的结果。为增强控制，我们提出ObjCtrl-2.5D，一种无需训练的对象控制方法，它使用由二维轨迹扩展深度信息得到的三维轨迹作为控制信号。通过将对象运动建模为相机运动，ObjCtrl-2.5D将三维轨迹表示为一序列相机位姿，从而能够利用现有的相机运动控制I2V生成模型（CMC-I2V）实现对象运动控制，而无需训练。为使原本为全局运动控制设计的CMC-I2V模型能够处理局部对象运动，我们引入一个模块将目标对象与背景分离，实现独立的局部控制。此外，我们设计了一种有效方法，通过在对象区域内跨帧共享低频扭曲潜变量，实现更精确的对象控制。大量实验表明，与无需训练的方法相比，ObjCtrl-2.5D显著提高了对象控制精度，并且比使用二维轨迹的基于训练的方法提供了更多样化的控制能力，能够实现对象旋转等复杂效果。代码和结果可在https://wzhouxiff.github.io/projects/ObjCtrl-2.5D/获取。
引用
@article{arxiv.2412.07721,
title = {ObjCtrl-2.5D: Training-free Object Control with Camera Poses},
author = {Zhouxia Wang and Yushi Lan and Shangchen Zhou and Chen Change Loy},
journal= {arXiv preprint arXiv:2412.07721},
year = {2025}
}
备注
Project Page: https://wzhouxiff.github.io/projects/ObjCtrl-2.5D/