基于前后台对比学习的夜间行人检测
计算机视觉与模式识别
2024-08-09 v2
摘要
当今研究中,背景信息常被忽略于通道注意力机制之外。本研究从低光条件下单光谱夜间行人检测性能不佳的角度,将背景信息纳入通道注意力机制。尽管有众多研究致力于开发高效的通道注意力机制,但背景信息的相关性被大大低估。通过采用对比学习方法,我们重新审视了通道注意力在行人对象和背景信息方面的关系,从而提出了前后台对比注意 (Fore-Background Contrast Attention, FBCA)。FBCA 拥有两个主要特性: (1) 通道描述符与全局空间特征信息形成远程依赖; (2) 背景信息的整合增强了专注于低光行人特征的通道与专注于背景信息的通道之间的区分度。因此,获得的通道描述符表现出更高的语义水平和空间准确性。实验结果表明,FBCA 在单光谱夜间行人检测中显著优于现有方法,在 NightOwls 和 TJU-DHD-pedestrian 数据集上实现了最先进的性能。此外,该方法也为多光谱 LLVIP 数据集带来了性能提升。这些发现表明,将背景信息整合到通道注意力机制中可有效缓解夜间场景下检测器因照明因素导致的性能下降。
引用
@article{arxiv.2408.03030,
title = {Nighttime Pedestrian Detection Based on Fore-Background Contrast Learning},
author = {He Yao and Yongjun Zhang and Huachun Jian and Li Zhang and Ruzhong Cheng},
journal= {arXiv preprint arXiv:2408.03030},
year = {2024}
}