通过解决模态不平衡问题改进多光谱行人检测
计算机视觉与模式识别
2020-08-18 v2
摘要
多光谱行人检测能够利用彩色-热成像模态来适应光照不足的条件。另一方面，关于如何有效融合这两种模态仍缺乏深入的见解。与传统行人检测相比，我们发现多光谱行人检测存在模态不平衡问题，这会阻碍双模态网络的优化过程并降低检测器的性能。受此观察启发，我们提出了模态平衡网络（MBNet），以更灵活且平衡的方式促进优化过程。首先，我们设计了一种新颖的差异模态感知融合（DMAF）模块，使两种模态相互补充。其次，一个光照感知特征对齐模块根据光照条件选择互补特征，并自适应地对齐两种模态特征。大量实验结果表明，在准确性和计算效率方面，MBNet 在具有挑战性的 KAIST 和 CVC-14 多光谱行人数据集上均优于当前最优方法（state-of-the-arts）。代码可在 https://github.com/CalayZhou/MBNet 获取。
引用
@article{arxiv.2008.03043,
title = {Improving Multispectral Pedestrian Detection by Addressing Modality Imbalance Problems},
author = {Kailai Zhou and Linsen Chen and Xun Cao},
journal= {arXiv preprint arXiv:2008.03043},
year = {2020}
}