利用事件与帧的频率自适应低延迟目标检测
计算机视觉与模式识别
2025-02-28 v2 人工智能
摘要
融合事件和 RGB 图像进行目标检测，利用了事件相机在不利环境中的鲁棒性以及 RGB 相机提供的丰富语义信息。然而，两个关键的不匹配：低延迟事件与高延迟 RGB 帧；训练中的时间稀疏标签与推理中的连续流，严重阻碍了基于高频融合的目标检测。为了解决这些挑战，我们提出了频率自适应低延迟目标检测器 (FAOD)。FAOD 通过对齐模块将低频 RGB 帧与高频事件对齐，该模块增强了跨模态风格和空间邻近性，以解决事件-RGB 不匹配问题。我们进一步提出了一种名为时间移位的训练策略，该策略强制模块对齐来自时间移位的事件-RGB 对及其原始表示的预测，即与事件对齐的标注保持一致。此策略使网络能够将高频事件数据作为主要参考，同时将低频 RGB 图像视为补充信息，从而保留事件流的低延迟特性以实现高频检测。此外，我们观察到，与仅使用事件数据相比，这些校正后的事件-RGB 对在从低训练频率到更高推理频率的泛化方面表现更好。在 PKU-DAVIS-SOD 和 DSEC-Detection 数据集上的大量实验表明，我们的 FAOD 达到了 SOTA 性能。具体而言，在 PKU-DAVIS-SOD 数据集中，在完全配对的事件-RGB 数据上，FAOD 仅使用 SODFormer 四分之一的参数量，就在 mAP 上实现了 9.8 个点的提升，甚至在 80 倍的事件-RGB 频率不匹配下仍能保持鲁棒性能（mAP 仅下降 3 个点）。
引用
@article{arxiv.2412.04149,
title = {Frequency-Adaptive Low-Latency Object Detection Using Events and Frames},
author = {Haitian Zhang and Xiangyuan Wang and Chang Xu and Xinya Wang and Fang Xu and Huai Yu and Lei Yu and Wen Yang},
journal= {arXiv preprint arXiv:2412.04149},
year = {2025}
}