面向动态交通场景的 RGB-事件融合用于稳健目标检测
计算机视觉与模式识别
2025-08-15 v1
摘要
传统 RGB 摄像机的动态范围受限，导致全局对比度降低，在复杂交通环境中（如夜间驾驶、隧道）会丢失纹理和边缘等高频细节，阻碍判别性特征提取并降低基于帧的方法的目标检测性能。为此，我们将生物启发的事件摄像机与 RGB 摄像机集成，提供高动态范围信息，提出一种运动线索融合网络（MCFNet），在恶劣照明条件下实现最佳时空对齐和自适应跨模态特征融合。具体而言，事件纠正模块（ECM）通过基于光流的形变方法实现事件流与图像帧的时间对齐，并与检测网络联合优化，以学习任务感知的事件表示。事件动态上采样模块（EDUM）增强事件帧的空间分辨率以匹配图像结构，确保精确的时空对齐。跨模态 Mamba 融合模块（CMM）采用新颖的交错扫描机制实现自适应特征融合，有效整合互补信息以实现稳健检测。在 DSEC-Det 和 PKU-DAVIS-SOD 数据集上的实验表明，MCFNet 在各种恶劣照明和快速移动交通场景下显著优于现有方法。值得注意的是，在 DSEC-Det 数据集上，MCFNet 分别在 mAP50 和 mAP 指标上分别超过最佳现有方法 7.4% 和 1.7%。该代码已公开于 https://github.com/Charm11492/MCFNet。
引用
@article{arxiv.2508.10704,
title = {Beyond conventional vision: RGB-event fusion for robust object detection in dynamic traffic scenarios},
author = {Zhanwen Liu and Yujing Sun and Yang Wang and Nan Yang and Shengbo Eben Li and Xiangmo Zhao},
journal= {arXiv preprint arXiv:2508.10704},
year = {2025}
}