通过校准标记扩展单目深度估计器以适用于鱼眼相机
计算机视觉与模式识别
2026-03-17 v4 人工智能
机器学习
摘要
我们提出了一种方法，用于将基础单目深度估计器(FMDE)从训练于透视图像的模型扩展到鱼眼图像。尽管FMDE在数百万张图像上进行训练，但仍易受到相机校准(内参、畸变)参数变化导致的协变量漂移的影响，从而产生错误的深度估计。我们的方法通过校准标记将鱼眼图像的隐层嵌入分布与透视图像的隐层嵌入分布对齐，从而在无需重新训练或微调的情况下重用FMDE以适用于鱼眼相机。为此，我们引入了一组校准标记作为一种轻量级的适应机制，用于对齐嵌入。通过利用FMDE已有的表现力强的隐层空间，我们认为通过调制其嵌入来避免传统校准或映射到规范参考框架中图像空间中引入的伪影和损失。我们的方法是自监督的，不需要鱼眼图像，但利用公开的大规模透视图像数据集。通过将透视图像重新校准为鱼眼图像，并在训练期间强制其估计值一致，我们对该方法进行了评估。我们使用几个FMDE进行评估，既在室内又在户外，结果一致显示使用单一套标记即可显著优于现有方法。代码已公开：https://github.com/JungHeeKim29/calibration-token。
引用
@article{arxiv.2508.04928,
title = {Extending Foundational Monocular Depth Estimators to Fisheye Cameras with Calibration Tokens},
author = {Suchisrit Gangopadhyay and Jung-Hee Kim and Xien Chen and Patrick Rim and Hyoungseob Park and Alex Wong},
journal= {arXiv preprint arXiv:2508.04928},
year = {2026}
}