Geo4D：利用视频生成器进行几何 4D 场景重建
计算机视觉与模式识别
2025-08-20 v2
摘要
我们引入了 Geo4D，一种将视频扩散模型重新用于动态场景单目 3D 重建的方法。通过利用大规模预训练视频模型捕获的强大动态先验，Geo4D 可以仅使用合成数据进行训练，同时以零样本方式很好地泛化到真实数据。Geo4D 预测几种互补的几何模态，即点图、视差图和射线图。我们提出了一种新的多模态对齐算法来对齐和融合这些模态，以及在推理时采用滑动窗口方法，从而实现对长视频的稳健且准确的 4D 重建。在多个基准测试上的大量实验表明，Geo4D 显著超越了 SOTA 的视频深度估计方法。
引用
@article{arxiv.2504.07961,
title = {Geo4D: Leveraging Video Generators for Geometric 4D Scene Reconstruction},
author = {Zeren Jiang and Chuanxia Zheng and Iro Laina and Diane Larlus and Andrea Vedaldi},
journal= {arXiv preprint arXiv:2504.07961},
year = {2025}
}
备注
17 pages, 6 figures, ICCV 2025 Highlight, Project page: https://geo4d.github.io/