面向多光谱行人检测的弱对齐跨模态学习
计算机视觉与模式识别
2019-10-21 v2
摘要
多光谱行人检测在光照不良条件下已展现出巨大优势，因为热成像模态为彩色图像提供了互补信息。然而，真实多光谱数据存在位置偏移问题，即彩色-热成像图像对未严格对齐，使得同一物体在不同模态中具有不同位置。在基于深度学习的方法中，该问题导致难以融合两模态的特征图并困扰 CNN 训练。本文提出一种新颖的对齐区域 CNN（AR-CNN），以端到端方式处理弱对齐多光谱数据。首先，我们设计区域特征对齐（RFA）模块以捕获位置偏移并自适应对齐两模态的区域特征。其次，我们提出一种新的多模态融合方法，通过特征重加权选择更可靠的特征并抑制无用特征。此外，我们提出一种新颖的 RoI 抖动策略，以提升对不同设备与系统设置下意外偏移模式的鲁棒性。最后，由于我们的方法依赖于一种新型标注——匹配各模态的边界框，我们通过在两模态中定位边界框并建立其关联关系，手动重新标注 KAIST 数据集，提供了全新的 KAIST-Paired Annotation。在现有数据集上的大量实验验证表明了所提方法的有效性与鲁棒性。代码与数据见 https://github.com/luzhang16/AR-CNN。
引用
@article{arxiv.1901.02645,
title = {Weakly Aligned Cross-Modal Learning for Multispectral Pedestrian Detection},
author = {Lu Zhang and Xiangyu Zhu and Xiangyu Chen and Xu Yang and Zhen Lei and Zhiyong Liu},
journal= {arXiv preprint arXiv:1901.02645},
year = {2019}
}
备注
Accepted by ICCV2019