CamPilot: 利用高效相机奖励反馈改进视频扩散模型中的相机控制
计算机视觉与模式识别
2026-01-23 v1
摘要
近期在相机控制视频扩散模型方面的进展显著提升了视频与相机的对齐效果。然而，相机的可控性仍然有限。在这项工作中，我们基于奖励反馈学习，旨在进一步提升相机可控性。然而，直接借用现有的ReFL方法面临若干挑战。首先，当前的奖励模型缺乏评估视频-相机对齐的能力。其次，将潜变量解码为RGB视频以计算奖励会引入巨大的计算开销。第三，在视频解码过程中通常忽略了三维几何信息。为解决这些限制，我们引入了一个高效的相机感知三维解码器，该解码器将视频潜变量解码为三维表示以进行奖励量化。具体来说，视频潜变量与相机姿态一起被解码为三维高斯体。在此过程中，相机姿态不仅作为输入，还充当投影参数。视频潜变量与相机姿态之间的错位会导致三维结构中的几何畸变，从而产生模糊的渲染结果。基于这一特性，我们明确优化了渲染的新视角与真实视角之间的像素级一致性作为奖励。为适应随机性，我们进一步引入了一个可见性项，仅对通过几何扭曲确定的确定性区域进行监督。在RealEstate10K和WorldScore基准上进行的广泛实验证明了我们提出方法的有效性。项目页面：\href{https://a-bigbao.github.io/CamPilot/}{CamPilot Page}。
引用
@article{arxiv.2601.16214,
title = {CamPilot: Improving Camera Control in Video Diffusion Model with Efficient Camera Reward Feedback},
author = {Wenhang Ge and Guibao Shen and Jiawei Feng and Luozhou Wang and Hao Lu and Xingye Tian and Xin Tao and Ying-Cong Chen},
journal= {arXiv preprint arXiv:2601.16214},
year = {2026}
}