利用跨模态上下文挖掘的RGB-D数据进行玻璃表面检测
计算机视觉与模式识别
2024-12-17 v2
摘要
随着现代建筑倾向于使用大量玻璃面板，玻璃表面日益普遍。然而，这给机器人、自动驾驶汽车和无人机等自主系统的运行带来了重大挑战，因为这些玻璃面板可能成为导航中的透明障碍。现有工作试图利用各种线索（包括玻璃边界上下文或反射）作为先验。但它们都基于输入的RGB图像。我们观察到，3D深度传感器光穿过玻璃表面常在深度图中产生空白区域，这可提供额外洞察以补充RGB图像特征用于玻璃表面检测。在本工作中，我们首先提出一个大规模RGB-D玻璃表面检测数据集 \textit{RGB-D GSD}，用于严谨实验与未来研究。它包含3,009张图像，配有精确标注，提供了广泛的真实世界RGB-D玻璃表面类别。然后我们提出一种结合RGB与深度信息的新型玻璃表面检测框架，包含两个新模块：跨模态上下文挖掘（CCM）模块，用于自适应地学习RGB与深度信息的个体与互上下文特征；以及深度缺失感知注意力（DAA）模块，用于显式利用发生深度缺失的空间位置以帮助检测玻璃表面的存在。实验结果表明，我们提出的模型优于当前最先进的方法。
引用
@article{arxiv.2206.11250,
title = {Leveraging RGB-D Data with Cross-Modal Context Mining for Glass Surface Detection},
author = {Jiaying Lin and Yuen-Hei Yeung and Shuquan Ye and Rynson W. H. Lau},
journal= {arXiv preprint arXiv:2206.11250},
year = {2024}
}
备注
Accepted to AAAI 2025. Project Page: https://jiaying.link/AAAI25-RGBDGlass/