CameraCtrl II：通过相机控制的视频扩散模型实现动态场景探索
计算机视觉与模式识别
2025-03-14 v1
摘要
本文介绍 CameraCtrl II—a 一种通过相机控制视频扩散模型实现大规模动态场景探索的框架。以往的相机条件视频生成模型在生成大幅相机运动的视频时， suffer from 视频动态性受限和视角范围受限的问题。我们采取的方法是逐步扩大动态场景的生成——首先增强单个视频剪辑中的动态内容，然后将这种能力扩展到创建跨越广泛视角范围的无缝探索。具体而言，我们构建了一个包含大量动态性且标注了相机参数的数据集用于训练，同时设计了轻量级的相机注入模块和训练方案，以保留预训练模型的动态性。基于这些改进的单片段技术，我们通过允许用户迭代指定相机轨迹来生成连贯的视频序列，从而实现扩展的场景探索。跨越多样化情景的实验表明，CameraCtrl II 能够实现相机控制的动态场景合成，其空间探索范围显著超过以往方法。
引用
@article{arxiv.2503.10592,
title = {CameraCtrl II: Dynamic Scene Exploration via Camera-controlled Video Diffusion Models},
author = {Hao He and Ceyuan Yang and Shanchuan Lin and Yinghao Xu and Meng Wei and Liangke Gui and Qi Zhao and Gordon Wetzstein and Lu Jiang and Hongsheng Li},
journal= {arXiv preprint arXiv:2503.10592},
year = {2025}
}
备注
Project page: https://hehao13.github.io/Projects-CameraCtrl-II/