GeoCalib：基于几何优化的单图像标定学习

从单张图像中，可以通过视觉线索推断出如焦距和重力方向等内在参数和外在参数。这种单图像标定可为诸如图像编辑和 3D 映射等后续应用提供好处。当前的方法要么基于带有直线和消失点的经典几何，要么基于用于端到端训练的深度神经网络。学习方法更稳健，但在针对新环境时难以泛化，且不如经典方法精确。我们假设，这些方法缺乏 3D 几何所提供的约束。在本工作中，我们引入 GeoCalib，一个利用通过优化过程融合 3D 几何通用规则的深度神经网络。GeoCalib 通过端到端训练来估计相机参数，并学习从数据中找到有用的视觉线索。在 various benchmarks 上的实验表明，GeoCalib 比现有的经典方法和学习方法更稳健、更精确。其内部优化估计了不确定性，有助于标记失效案例，并为诸如视觉定位等后续应用提供帮助。代码和训练好的模型已公开 disponible。