FreeOrbit4D：基于前景完整 4D 重建的单目视频免训练任意相机重定向
计算机视觉与模式识别
2026-05-20 v2 人工智能
图形学
摘要
相机重定向旨在从单个单目视频中，在用户指定的相机轨迹下重放动态场景。然而，大角度重定向本质上是病态的：单目视频仅捕获动态 3D 场景的狭窄时空视图，提供了对底层 4D 世界极其有限的观察。因此，关键挑战在于从这种有限输入中恢复一个具有一致几何和运动的完整且连贯的表示。虽然最近的基于扩散模型的方法取得了令人印象深刻的视觉生成质量，但在远离原始轨迹的大角度视角变化下，它们往往会失效，因为缺失的视觉基础会导致严重的几何歧义和时间不一致性。我们提出了 FreeOrbit4D，这是一个有效的免训练框架，通过恢复一个前景完整的 4D 代理作为视频生成的结构基础来解决这种歧义。我们通过解耦前景和背景重建来获得此代理：我们将单目视频反投影到统一全局空间中的静态背景和部分前景点云中，然后使用以物体为中心的多视图扩散模型来合成多视图图像，并在规范物体空间中重建完整的前景点云。通过密集的像素同步 3D-3D 对应关系将规范前景点云对齐到全局场景空间，并将前景完整的 4D 代理投影到目标相机视点上，我们提供了引导条件视频扩散模型的几何支架。大量实验表明，FreeOrbit4D 在具有挑战性的大角度轨迹下生成了更忠实且时间连贯的重定向视频，并且我们的代理进一步支持了编辑传播和 4D 数据生成等应用。项目页面：https://freeorbit4d.vision.ischool.illinois.edu/
引用
@article{arxiv.2601.18993,
title = {FreeOrbit4D: Training-Free Arbitrary Camera Redirection for Monocular Videos via Foreground-Complete 4D Reconstruction},
author = {Wei Cao and Hao Zhang and Fengrui Tian and Yulun Wu and Yingying Li and Shenlong Wang and Ning Yu and Yaoyao Liu},
journal= {arXiv preprint arXiv:2601.18993},
year = {2026}
}
备注
12 pages, 10 figures. Accepted to SIGGRAPH Conference Papers 2026