ReCamMaster:基于单视频的相机控制生成式渲染
计算机视觉与模式识别
2025-07-10 v2
摘要
相机控制在文本或图像条件的视频生成任务中已被积极研究。然而，尽管改变给定视频的相机轨迹在视频创作领域具有重要意义，这一方向仍鲜有探索。由于需要额外约束以维持多帧外观和动态同步，该问题并非易事。为解决此问题，我们提出了 ReCamMaster，一个相机控制的生成式视频重渲染框架，能够在新的相机轨迹下重现输入视频的动态场景。其核心创新在于通过一种简单而强大的视频条件机制，利用预训练文本到视频模型的生成能力——该能力在当前研究中常被忽视。为克服合格训练数据的稀缺性，我们使用 Unreal Engine 5 构建了一个全面的多相机同步视频数据集，该数据集经过精心筛选以遵循真实世界的拍摄特征，涵盖多样的场景和相机运动。这有助于模型泛化至野外视频。最后，我们通过精心设计的训练策略进一步提升了对多样输入的鲁棒性。大量实验表明，我们的方法显著优于现有的 SOTA 方法。我们的方法在视频防抖、超分辨率和图像外绘制方面也展现了有前景的应用。我们的代码和数据集已公开于：https://github.com/KwaiVGI/ReCamMaster。
引用
@article{arxiv.2503.11647,
title = {ReCamMaster: Camera-Controlled Generative Rendering from A Single Video},
author = {Jianhong Bai and Menghan Xia and Xiao Fu and Xintao Wang and Lianrui Mu and Jinwen Cao and Zuozhu Liu and Haoji Hu and Xiang Bai and Pengfei Wan and Di Zhang},
journal= {arXiv preprint arXiv:2503.11647},
year = {2025}
}
备注
Project page: https://jianhongbai.github.io/ReCamMaster/