追逐昼夜：基于事件相机引导的鲁棒高效全天目标检测

在所有光照（即正常、过曝与欠曝）条件下检测物体的能力对于自动驾驶等实际应用至关重要。传统基于 RGB 的检测器常在此类变化光照条件下失效。因此，近期工作利用新型事件相机来补充或引导 RGB 模态；然而，这些方法通常采用非对称网络结构且主要依赖 RGB 模态，导致全天检测的鲁棒性有限。本文中，我们提出 EOLO，一种通过融合 RGB 与事件模态实现鲁棒高效全天目标检测的新型框架。我们的 EOLO 框架构建于轻量级脉冲神经网络（SNN）之上，以高效利用事件的异步特性。基于此，我们首先引入事件时间注意力（ETA）模块，在学习事件高时间信息的同时保留关键边缘信息。其次，由于不同模态在多样光照条件下表现出不同重要性，我们提出一种新颖的对称 RGB-事件融合（SREF）模块，在不依赖特定模态的情况下有效融合 RGB-事件特征，从而确保全天检测的平衡与自适应融合。此外，为弥补全天训练与评估中配对 RGB-事件数据集的缺失，我们提出一种基于随机光流的事件合成方法，可从单张曝光图像直接生成事件帧。我们进一步基于流行基准 MSCOCO 与 PASCAL VOC 构建了两个新数据集 E-MSCOCO 与 E-VOC。大量实验表明，我们的 EOLO 在所有光照条件下优于最先进检测器，例如相较 RENet 以显著优势（+3.74% mAP50）领先。我们的代码与数据集将发布于 https://vlislab22.github.io/EOLO/。