BAANet：学习双向自适应注意力门用于多光谱行人检测
计算机视觉与模式识别
2021-12-07 v1
摘要
热红外（TIR）图像已被证明能为 RGB 特征提供温度线索，以用于多光谱行人检测。多数现有方法直接将 TIR 模态注入基于 RGB 的框架，或简单地集成两模态结果。然而，这可能导致检测性能不佳，因为 RGB 与 TIR 特征通常含有模态特有噪声，其可能随网络传播而恶化特征。因此，本文提出一种有效且高效的交叉模态融合模块，称为双向自适应注意力门（BAA-Gate）。该门基于注意力机制，旨在提炼信息性特征并渐进式重校准表示。具体地，采用双向多阶段融合策略逐步优化两模态特征并在传播中保留其特异性。此外，通过基于光照的加权策略引入 BAA-Gate 的自适应交互，以自适应调整门中的重校准与聚合强度，并增强对光照变化的鲁棒性。在具挑战性的 KAIST 数据集上的大量实验证明了我们方法在满意速度下的优越性能。
引用
@article{arxiv.2112.02277,
title = {BAANet: Learning Bi-directional Adaptive Attention Gates for Multispectral Pedestrian Detection},
author = {Xiaoxiao Yang and Yeqian Qiang and Huijie Zhu and Chunxiang Wang and Ming Yang},
journal= {arXiv preprint arXiv:2112.02277},
year = {2021}
}