从事件中检测每个目标
计算机视觉与模式识别
2024-04-09 v1
摘要
目标检测在自动驾驶中至关重要，而定位未知类别的目标则更为实用且具挑战性：这一尝试被称为类不可知目标检测（CAOD）。现有的CAOD研究主要依赖普通相机，但这些基于帧的传感器通常具有高延迟和有限的动态范围，导致在真实场景中存在安全风险。本研究转向由所谓事件相机提供的新模态，其具有亚毫秒延迟和高动态范围的特点，以实现稳健的CAOD。我们提出了事件中检测每个目标（DEOE），这是一种专为在事件视觉中实现高速、类不可知的开放世界目标检测而定制的方法。基于快速的事件骨干网络：循环视觉Transformer，我们联合考虑空间和时间一致性以识别潜在目标。发现的潜在目标被同化为软正样本，以避免被抑制为背景。此外，我们引入了一个解耦的目标性头，将前景-背景分类与新目标发现任务分离，增强了模型在定位新目标时的泛化能力，同时保持了过滤背景的强大能力。大量实验证实了本文提出的DEOE相较于三种强基线方法的优越性，这些基线方法将最先进的事件目标检测器与基于RGB的CAOD进展相结合。代码可在 https://github.com/Hatins/DEOE 获取。
引用
@article{arxiv.2404.05285,
title = {Detecting Every Object from Events},
author = {Haitian Zhang and Chang Xu and Xinya Wang and Bingde Liu and Guang Hua and Lei Yu and Wen Yang},
journal= {arXiv preprint arXiv:2404.05285},
year = {2024}
}