用于RGB热成像场景解析的边缘感知引导融合网络
计算机视觉与模式识别
2021-12-13 v1 图像与视频处理
摘要
RGB热成像场景解析近年来在计算机视觉领域引起了越来越多的研究兴趣。然而，大多数现有方法无法为预测图提供良好的边界提取，且不能充分利用高层特征。此外，这些方法简单地融合来自RGB与热成像模态的特征，但无法获得全面的融合特征。为解决这些问题，我们提出一种用于RGB热成像场景解析的边缘感知引导融合网络（EGFNet）。首先，我们引入利用RGB与热成像图像生成的先验边缘图，以捕获预测图中的细节信息，并将先验边缘信息嵌入特征图中。为有效融合RGB与热成像信息，我们提出一个多模态融合模块以保证充分的跨模态融合。考虑到高层语义信息的重要性，我们提出全局信息模块与语义信息模块，从高层特征中提取丰富的语义信息。对于解码，我们采用简单的逐元素相加进行级联特征融合。最后，为提高解析精度，我们对语义与边界图应用多任务深度监督。我们在基准数据集上进行了大量实验，以证明所提EGFNet的有效性及其相对于最先进方法的优越性能。代码与结果见 https://github.com/ShaohuaDong2021/EGFNet。
引用
@article{arxiv.2112.05144,
title = {Edge-aware Guidance Fusion Network for RGB Thermal Scene Parsing},
author = {Wujie Zhou and Shaohua Dong and Caie Xu and Yaguan Qian},
journal= {arXiv preprint arXiv:2112.05144},
year = {2021}
}
备注
Accepted by AAAI2022