MS-DETR：具有松散耦合融合与模态平衡优化的多光谱行人检测 Transformer
计算机视觉与模式识别
2024-11-06 v4
摘要
多光谱行人检测是许多全天候应用的重要任务，因为可见光与热成像模态可提供互补信息，尤其在低光照条件下。由于存在两种模态，错位与模态失衡是多光谱行人检测中最显著的问题。本文中，我们提出多光谱行人检测 Transformer（MS-DETR）以解决上述问题。MS-DETR 由两个模态特定骨干网络与 Transformer 编码器，以及一个多模态 Transformer 解码器组成，可见光与热成像特征在多模态 Transformer 解码器中融合。为良好抵抗多模态图像间的错位，我们设计了一种松散耦合融合策略，通过从多模态特征中独立稀疏采样若干关键点，并以自适应学习的注意力权重进行融合。此外，基于不同模态以及不同行人实例对最终检测往往具有不同置信度得分的洞察，我们进一步提出实例感知的模态平衡优化策略，其保留可见光与热成像解码分支，并通过实例级动态损失对齐其预测槽位。我们的端到端 MS-DETR 在具挑战性的 KAIST、CVC-14 与 LLVIP 基准数据集上展现出优越性能。源代码见 https://github.com/YinghuiXing/MS-DETR。
引用
@article{arxiv.2302.00290,
title = {MS-DETR: Multispectral Pedestrian Detection Transformer with Loosely Coupled Fusion and Modality-Balanced Optimization},
author = {Yinghui Xing and Shuo Yang and Song Wang and Shizhou Zhang and Guoqiang Liang and Xiuwei Zhang and Yanning Zhang},
journal= {arXiv preprint arXiv:2302.00290},
year = {2024}
}
备注
The paper has been accepted by IEEE Transactions on Intelligent Transportation Systems