基于 TOF-立体视觉融合的高分辨率深度图
计算机视觉与模式识别
2021-08-02 v1
摘要
将距离传感器与彩色相机结合对于机器人导航、语义感知、操控和远程呈现非常有用。已有若干结合距离与彩色数据的方法被研究并成功用于各种机器人应用。这类系统大多受限于距离数据中的噪声以及距离传感器与彩色相机之间的分辨率不匹配问题，因为当前距离传感器的分辨率远低于彩色相机。利用立体匹配可获得高分辨率深度图，但该方法常无法为弱纹理/重复纹理场景或具有复杂自遮挡的场景构建准确的深度图。距离传感器无论有无纹理均提供粗糙深度信息。使用由飞行时间(TOF)相机和立体相机对组成的标定系统可进行数据融合，从而克服两种单一传感器的弱点。我们提出一种基于高效种子生长算法的新型 TOF-立体融合方法，该方法将投影到立体图像对上的 TOF 数据用作初始对应点集。然后基于贝叶斯模型传播这些初始“种子”，该模型结合了图像相似度分数与由低分辨率距离数据计算的粗略深度先验。最终结果是获得所用彩色相机分辨率下的稠密且准确的深度图。我们表明所提算法优于基于 2D 图像的立体算法，且结果比现成彩色-距离传感器(如 Kinect)分辨率更高。此外，该算法在单 CPU 上潜在具有实时性能。
引用
@article{arxiv.2107.14688,
title = {High-Resolution Depth Maps Based on TOF-Stereo Fusion},
author = {Vineet Gandhi and Jan Cech and Radu Horaud},
journal= {arXiv preprint arXiv:2107.14688},
year = {2021}
}
备注
IEEE International Conference on Robotics and Automation, 2012