TrajectoryCrafter：基于扩散模型的单目视频相机轨迹重定向
计算机视觉与模式识别
2025-03-10 v1 人工智能
图形学
摘要
我们提出了 TrajectoryCrafter，一种用于单目视频相机轨迹重定向的新方法。通过将确定性视图变换与随机内容生成解耦，我们的方法实现了对用户指定相机轨迹的精确控制。我们提出了一种新颖的双流条件视频扩散模型，该模型同时整合点云渲染和源视频作为条件，确保准确的视图变换和连贯的 4D 内容生成。我们没有利用稀缺的多视角视频，而是通过创新的双重重投影策略，策划了一个结合网络规模单目视频与静态多视角数据集的混合训练数据集，显著促进了跨不同场景的鲁棒泛化。在多视角和大规模单目视频上的广泛评估证明了我们方法的优越性能。
引用
@article{arxiv.2503.05638,
title = {TrajectoryCrafter: Redirecting Camera Trajectory for Monocular Videos via Diffusion Models},
author = {Mark YU and Wenbo Hu and Jinbo Xing and Ying Shan},
journal= {arXiv preprint arXiv:2503.05638},
year = {2025}
}
备注
Project webpage: https://trajectorycrafter.github.io/