基于可学习表示的双记忆聚合网络用于事件相机目标检测
计算机视觉与模式识别
2023-03-20 v1
摘要
事件相机是受生物启发的传感器，以异步方式捕获每个像素的亮度变化。与基于帧的传感器相比，事件相机具有微秒级延迟和高动态范围，因此在高速运动与弱光照条件下的目标检测展现出巨大潜力。由于事件流具有稀疏和异步的特性，现有多数方法借助手工方法将事件数据转换为二维网格表示。然而，它们在聚合事件流信息用于目标检测方面并非最优。本工作中，我们提出学习一种针对基于事件的目标检测优化的事件表示。具体而言，事件流在正负极性下于 x-y-t 坐标中划分为网格，生成一组作为三维张量表示的柱体。为充分利用事件流信息检测物体，提出一种双记忆聚合网络（DMANet），利用事件流上的长记忆与短记忆来聚合有效信息以进行目标检测。长记忆编码于自适应 convLSTMs 的隐藏状态中，而短记忆通过计相邻时间间隔事件柱体间的时空相关性来建模。在近期发布的基于事件的自动驾驶检测数据集上的大量实验证明了所提方法的有效性。
引用
@article{arxiv.2303.09919,
title = {Dual Memory Aggregation Network for Event-Based Object Detection with Learnable Representation},
author = {Dongsheng Wang and Xu Jia and Yang Zhang and Xinyu Zhang and Yaoyuan Wang and Ziyang Zhang and Dong Wang and Huchuan Lu},
journal= {arXiv preprint arXiv:2303.09919},
year = {2023}
}