中文

CamCloneMaster:实现参考视频中相机控制的视频生成

计算机视觉与模式识别 2025-06-04 v1

摘要

相机控制对于生成具有表现力和电影感的视频至关重要。现有方法依赖于显式的相机参数序列作为控制条件,这对用户构建尤其繁琐,尤其是对于复杂的相机运动。为了提供更直观的相机控制方法,我们提出了 CamCloneMaster,一个框架,使用户能够无需相机参数或测试时微调即可从参考视频中复制相机运动。CamCloneMaster 在统一的框架中无缝支持 Image-to-Video 和 Video-to-Video 任务的参考式相机控制。此外,我们提出了 Camera Clone 数据集,一个为相机克隆学习设计的大规模合成数据集,涵盖多样化的场景、主体和相机运动。大量实验和用户研究表明,CamCloneMaster 在相机可控性和视觉质量方面均优于现有方法。

关键词

引用

@article{arxiv.2506.03140,
  title  = {CamCloneMaster: Enabling Reference-based Camera Control for Video Generation},
  author = {Yawen Luo and Jianhong Bai and Xiaoyu Shi and Menghan Xia and Xintao Wang and Pengfei Wan and Di Zhang and Kun Gai and Tianfan Xue},
  journal= {arXiv preprint arXiv:2506.03140},
  year   = {2025}
}

备注

Project Page: https://camclonemaster.github.io/