驯服狂野相机:野外单目相机标定
计算机视觉与模式识别
2023-11-27 v2
摘要
针对野外单目图像的3D感知(如深度估计和3D目标检测)已变得愈发重要。然而,未知的内参阻碍了它们的开发与部署。先前的单目相机标定方法依赖于特定3D物体或强几何先验,例如使用棋盘格或施加曼哈顿世界假设。本工作从另一角度利用单目3D先验来解决该问题。我们的方法无假设,并可标定完整的自由度(DoF)内参。首先,我们证明内参可由两个研究充分的单目先验(即单目深度图和表面法线图)求解。然而,该解对深度估计提出了低偏差和低方差的要求。作为替代,我们引入了一种新颖的单目3D先验——入射场,定义为3D空间中点与2D成像平面中像素之间的入射射线。入射场是内参的逐像素参数化,对图像裁剪和缩放不变。利用估计的入射场,一种鲁棒的RANSAC算法恢复内参。我们通过在合成和零样本测试数据集上展示优越性能来证明方法的有效性。除标定外,我们展示了在图像篡改检测与修复、未标定两视图位姿估计和3D感知等下游应用。代码、模型和数据将发布于https://github.com/ShngJZ/WildCamera。
引用
@article{arxiv.2306.10988,
title = {Tame a Wild Camera: In-the-Wild Monocular Camera Calibration},
author = {Shengjie Zhu and Abhinav Kumar and Masa Hu and Xiaoming Liu},
journal= {arXiv preprint arXiv:2306.10988},
year = {2023}
}