一种用于镜头与相机标定的深度感知度量
计算机视觉与模式识别
2023-07-28 v2
摘要
从数字艺术到 AR 和 VR 体验,图像编辑与合成已在娱乐领域变得无处不在。为制作精美的合成图,相机需要进行几何标定,这可能繁琐且需要一个物理标定靶标。我们提出用深度卷积神经网络从单幅图像直接推断相机标定参数(如俯仰角、翻滚角、视场角和镜头畸变),以取代传统的多图像标定流程。我们使用来自大规模全景数据集的自动生成样本训练该网络,在标准 l2 误差方面取得了有竞争力的精度。然而,我们认为最小化此类标准误差度量对于许多应用而言可能并非最优。在这项工作中,我们研究了人类对几何相机标定中不精确性的敏感度。为此,我们进行了一项大规模人类感知研究,要求参与者判断使用正确及有偏的相机标定参数所合成的 3D 物体的真实感。基于该研究,我们开发了一种新的相机标定感知度量,并证明我们的深度标定网络在标准度量以及这一新颖感知度量上均优于先前基于单图像的标定方法。最后,我们展示了我们的标定网络在若干应用中的使用,包括虚拟物体插入、图像检索与合成。我们方法的演示见 https://lvsn.github.io/deepcalib 。
引用
@article{arxiv.2208.12300,
title = {A Deep Perceptual Measure for Lens and Camera Calibration},
author = {Yannick Hold-Geoffroy and Dominique Piché-Meunier and Kalyan Sunkavalli and Jean-Charles Bazin and François Rameau and Jean-François Lalonde},
journal= {arXiv preprint arXiv:2208.12300},
year = {2023}
}
备注
12 pages, 12 figures, project page (including live demo) available at https://lvsn.github.io/deepcalib. arXiv admin note: text overlap with arXiv:1712.01259