ReCapture：使用掩码视频微调为用户提供的视频生成视频相机控制
计算机视觉与模式识别
2024-11-08 v1 人工智能
图形学
机器学习
摘要
最近，视频建模的突破使得生成视频中的可控相机轨迹成为可能。然而，这些方法不能直接应用于非视频模型生成的用户提供的视频。在本文中，我们提出了 ReCapture，一种从单个用户提供的视频生成具有新颖相机轨迹的新视频的方法。我们的方法允许我们从截然不同的角度和电影级相机运动重新生成参考视频，包括其所有现有的场景运动。值得注意的是，使用我们的方法，我们还可以合理地幻觉化参考视频中不可观察到的场景部分。我们的方法通过（1）使用多视图扩散模型或基于深度的点云渲染生成具有新相机轨迹的噪声锚定视频，然后（2）使用我们提出的掩码视频微调技术将锚定视频重新生成为干净且时间一致的重新角度视频。
引用
@article{arxiv.2411.05003,
title = {ReCapture: Generative Video Camera Controls for User-Provided Videos using Masked Video Fine-Tuning},
author = {David Junhao Zhang and Roni Paiss and Shiran Zada and Nikhil Karnad and David E. Jacobs and Yael Pritch and Inbar Mosseri and Mike Zheng Shou and Neal Wadhwa and Nataniel Ruiz},
journal= {arXiv preprint arXiv:2411.05003},
year = {2024}
}
备注
project page: https://generative-video-camera-controls.github.io/