UniK3D：通用相机单目3D估计
计算机视觉与模式识别
2025-03-24 v1
摘要
单目3D估计对于视觉感知至关重要。然而，当前方法不足之处在于依赖过于简化的假设，如针孔相机模型或已校正的图像。这些限制严重限制了其通用性，导致在鱼眼或全景图像等真实场景中表现不佳，并造成显著的上下文丢失。为此，我们提出UniK3D，是首个能够为任意相机建模的通用单目3D估计方法。我们的方法引入了球面3D表示，允许更好地分离相机与场景几何，并可对不受约束的相机模型实现准确的度量3D重建。我们的相机组件包含一种新颖的、与模型无关的的光束射线表示，通过通过学习的球面谐波叠加实现。我们还引入了角度损失，以及相机模块设计，防止宽视角相机的3D输出收缩。对13个多样化数据集进行全面零样本评估，表明UniK3D在3D、深度和相机指标上均实现了最先进的性能，在具有挑战性的大视场和全景设置中取得了显著提升，同时在传统针孔小视场领域保持顶级准确性。代码和模型均可在 github.com/lpiccinelli-eth/unik3d 获取。
引用
@article{arxiv.2503.16591,
title = {UniK3D: Universal Camera Monocular 3D Estimation},
author = {Luigi Piccinelli and Christos Sakaridis and Mattia Segu and Yung-Hsu Yang and Siyuan Li and Wim Abbeloos and Luc Van Gool},
journal= {arXiv preprint arXiv:2503.16591},
year = {2025}
}