基于 RGB-热成像图像对的玻璃分割
计算机视觉与模式识别
2023-03-20 v4
摘要
本文提出一种利用配对的 RGB 与热成像图像的玻璃分割新方法。由于可见光与热能在玻璃处的透射特性差异巨大——多数玻璃对可见光透明而对热能不透明——场景中玻璃区域在 RGB 与热成像图像对中比仅用 RGB 图像更易区分。为利用这一独特属性，我们提出一种神经网络架构，通过基于注意力的新型多模态融合模块有效结合 RGB-热成像图像对，并集成 CNN 与 transformer 分别提取局部特征与非局部依赖。同时，我们收集了一个包含 5551 对带有真值分割标注的 RGB-热成像图像对的新数据集。定性与定量评估证明了所提方法在融合 RGB 与热数据用于玻璃分割上的有效性。我们的代码与数据见 https://github.com/Dong-Huo/RGB-T-Glass-Segmentation。
关键词
引用
@article{arxiv.2204.05453,
title = {Glass Segmentation with RGB-Thermal Image Pairs},
author = {Dong Huo and Jian Wang and Yiming Qian and Yee-Hong Yang},
journal= {arXiv preprint arXiv:2204.05453},
year = {2023}
}
备注
IEEE Transactions on Image Processing (TIP), 2023