EvRT-DETR：面向事件视觉的图像检测器在潜在空间中的适应
计算机视觉与模式识别
2025-08-06 v3
摘要
事件相机 (EBC) 作为一种受生物启发的摄像机替代方案，具有功耗效率、时序分辨率和高动态范围等优势。然而，由于数据稀疏和非同步，开发针对EBC的数据分析方法具有挑战性。本工作针对EBC相机的对象检测问题。当前针对EBC对象检测的方法侧重于构建复杂的数据表示，依赖专用架构。我们引入I2EvDet (Image-to-Event Detection)，一种新型适应框架，将主流对象检测与时序事件数据处理相结合。首先，我们展示了一种实时DEtection TRansformer (RT-DETR)，即最先进的自然图像检测器，在EBC数据的简单图像样本表示上训练可实现与专用EBC方法相当的性能。随后，作为框架的一部分，我们开发了一种高效的适应技术，通过最小的结构性添加修改其冻结的潜在表示空间，将图像基检测器转换为事件基检测模型。最终得到的EvRT-DETR模型在标准基准数据集Gen1（mAP提升2.3）和1Mpx/Gen4（mAP提升1.4）上实现最先进性能。这些结果表明，通过原则性地适应主流架构，EBC对象检测采取了一种根本性的新方法，提供了一个高效替代方案，潜在可应用于其他时序视觉领域。代码地址：https://github.com/realtime-intelligence/evrt-detr
引用
@article{arxiv.2412.02890,
title = {EvRT-DETR: Latent Space Adaptation of Image Detectors for Event-based Vision},
author = {Dmitrii Torbunov and Yihui Ren and Animesh Ghose and Odera Dim and Yonggang Cui},
journal= {arXiv preprint arXiv:2412.02890},
year = {2025}
}
备注
Accepted to ICCV 2025