用于RGB-热成像感知任务的显式注意力增强融合
计算机视觉与模式识别
2023-03-29 v1
摘要
近年来，基于RGB-热成像的感知取得了显著进展。当视觉相机受低光照与雾等恶劣光照条件影响时，热成像信息提供了有用线索。然而，如何有效融合RGB图像与热数据仍是一个开放挑战。先前工作涉及朴素融合策略，如在输入处合并、在模型内拼接多模态特征或对每种数据模态施加注意力。这些融合策略直观却不充分。本文提出一种名为显式注意力增强融合（EAEF）的新颖融合方法，充分利用各类数据的优势。具体而言，我们考虑以下情形：i) 同时具有RGB数据与热数据，ii) 仅具有其中一种数据，iii) 两者均未生成判别性特征。EAEF使用一个分支增强对 i) 与 iii) 的特征提取，另一分支补救 ii) 的不足表示。两分支输出融合形成互补特征。结果表明，所提融合方法在语义分割上以 mIoU 超越 SOTA 1.6\%，显著目标检测上以 MAE 超越 3.1\%，目标检测上以 mAP 超越 2.3\%，人群计数上以 MAE 超越 8.1\%。代码见 https://github.com/FreeformRobotics/EAEFNet。
引用
@article{arxiv.2303.15710,
title = {Explicit Attention-Enhanced Fusion for RGB-Thermal Perception Tasks},
author = {Mingjian Liang and Junjie Hu and Chenyu Bao and Hua Feng and Fuqin Deng and Tin Lun Lam},
journal= {arXiv preprint arXiv:2303.15710},
year = {2023}
}