Ctrl&Shift：视觉生成中几何感知的对象操控

对象级操控，即在保持场景真实感的前提下 relocate 或 reorient 图像或视频中的对象，是电影后期制作、AR和创意编辑中的核心任务。然而，现有方法在实现三个核心目标方面仍存在挑战：背景保留、视点位移下的几何一致性以及用户可控变换。几何方法提供精确控制，但需要显式3D重建且难以泛化；扩散方法泛化性更好，但缺乏细粒度的几何控制。我们提出Ctrl&Shift，一种 end-to-end 扩散框架，以实现无需显式3D表示即可进行几何一致的对象操控。我们的关键洞察是将操控分解为两个阶段：对象移除和在显式相机姿态控制下进行 reference-guided inpainting，并将两者编码于统一的扩散过程中。为实现精确、解耦的控制，我们设计了一种多任务、多阶段训练策略，跨任务中将背景、身份和姿态信号进行分离。为提高泛化性，我们引入一种可扩展的真实世界数据集构建管道，用于生成具有估计相对相机姿态的配对图像和视频样本。广泛的实验表明，Ctrl&Shift 在保真度、视点一致性和可控性方面实现了最先进的效果。据我们了解，这是首个在无需任何显式3D建模的情况下统一实现细粒度几何控制和真实世界泛化的对象操控框架。