利用 RGB-事件融合增强变光照下的交通目标检测
计算机视觉与模式识别
2024-09-17 v2
摘要
变光照下的交通目标检测具有挑战性，因为传统基于帧的相机有限动态范围导致信息丢失。为解决此问题，我们引入仿生事件相机，并提出一种新颖的结构感知融合网络（SFNet），从事件流中提取清晰且完整的物体结构，通过跨模态融合补偿图像中丢失的信息，使网络获得光照鲁棒的表示用于交通目标检测。具体而言，为缓解固定间隔事件采样方法中交通物体多样运动态导致的稀疏或模糊问题，我们提出可靠结构生成网络（RSGNet）生成速度不变帧（SIF），确保物体结构的完整与清晰。接下来，我们设计一种新颖的自适应特征互补模块（AFCM），通过感知图像的全局亮度分布引导两模态特征的自适应融合，补偿图像中的信息丢失，从而生成光照鲁棒表示。最后，考虑到现有基于事件的目标检测数据集缺乏大规模高质量标注，我们构建了 DSEC-Det 数据集，包含 53 个序列、63,931 张图像及 8 个类别超过 208,000 个标签。大量实验结果表明，我们提出的 SFNet 能克服传统相机的感知边界，在 mAP50 上优于基于帧的方法 8.0%，在 mAP50:95 上优于 5.9%。我们的代码与数据集将发布于 https://github.com/YN-Yang/SFNet。
引用
@article{arxiv.2311.00436,
title = {Enhancing Traffic Object Detection in Variable Illumination with RGB-Event Fusion},
author = {Zhanwen Liu and Nan Yang and Yang Wang and Yuke Li and Xiangmo Zhao and Fei-Yue Wang},
journal= {arXiv preprint arXiv:2311.00436},
year = {2024}
}
备注
Accepted by IEEE T-ITS