中文

UFO-4D:基于两张无位姿图像的前馈式4D重建

计算机视觉与模式识别 2026-03-06 v2

摘要

从无位姿图像进行密集4D重建仍然是一个关键挑战,当前方法依赖于缓慢的测试时优化或碎片化的、任务特定的前馈模型。我们引入了UFO-4D,一个统一的前馈框架,仅从一对无位姿图像重建密集、显式的4D表示。UFO-4D直接估计动态3D高斯溅射,从而以前馈方式联合且一致地估计3D几何、3D运动和相机位姿。我们的核心见解是,从单个动态3D高斯表示中可微分地渲染多个信号提供了重要的训练优势。这种方法在紧密耦合外观、深度和运动的同时,实现了自监督的图像合成损失。由于所有模态共享相同的几何基元,监督其中一个模态自然会正则化并改善其他模态。这种协同作用克服了数据稀缺性,使得UFO-4D在联合几何、运动和相机位姿估计方面性能比先前工作高出多达3倍。我们的表示还支持跨新视角和时间的保真4D插值。请访问我们的项目页面查看可视化结果:https://ufo-4d.github.io/。

关键词

引用

@article{arxiv.2602.24290,
  title  = {UFO-4D: Unposed Feedforward 4D Reconstruction from Two Images},
  author = {Junhwa Hur and Charles Herrmann and Songyou Peng and Philipp Henzler and Zeyu Ma and Todd Zickler and Deqing Sun},
  journal= {arXiv preprint arXiv:2602.24290},
  year   = {2026}
}

备注

ICLR 2026, Project page: https://ufo-4d.github.io/