基于高效注意力桥接融合的偏振驱动语义分割
计算机视觉与模式识别
2021-02-24 v2 机器人学
图像与视频处理
摘要
语义分割（SS）在自动驾驶、辅助导航等安全关键应用的户外场景感知中具有广阔前景。然而，传统 SS 主要基于 RGB 图像，这限制了 SS 在复杂户外场景中的可靠性，因为 RGB 图像缺乏必要的信维度以全面感知无约束环境。作为初步调研，我们在一个未知障碍物检测场景中考察了 SS，证明了多模态融合的必要性。为此，本文提出 EAFNet，一种高效注意力桥接融合网络（Efficient Attention-bridged Fusion Network），以利用来自不同光学传感器的互补信息。具体而言，我们引入偏振感知以获取补充信息，考虑到其光学特性可对多样材料进行鲁棒表示。通过使用单次偏振传感器，我们构建了首个 RGB-P 数据集，包含 394 张标注的像素对齐 RGB-偏振图像。大量实验表明了 EAFNet 融合偏振与 RGB 信息的有效性，以及适配其他传感器组合场景的灵活性。
引用
@article{arxiv.2011.13313,
title = {Polarization-driven Semantic Segmentation via Efficient Attention-bridged Fusion},
author = {Kaite Xiang and Kailun Yang and Kaiwei Wang},
journal= {arXiv preprint arXiv:2011.13313},
year = {2021}
}
备注
Accepted by Optics Express. 18 pages, 16 figures, 3 tables, 9 equations. Code will be made publicly available at https://github.com/Katexiang/EAFNet