作为区域提议网络的事件相机
计算机视觉与模式识别
2023-05-02 v1
摘要
人眼由两类光感受器组成：视杆细胞和视锥细胞。视杆细胞负责单色视觉，视锥细胞负责彩色视觉。视杆细胞数量远多于视锥细胞，这意味着人类大部分视觉处理在单色下完成。事件相机报告像素强度的变化，类似于视杆细胞。计算机视觉中的事件相机与彩色相机，犹如人类视觉中的视杆细胞与视锥细胞。人类能注意到外周视觉（最左和最右）中移动的物体，但无法对其进行分类（试想有人从你最左或最右侧经过，这会触发你的注意却不知其身份）。因此，视杆细胞在人类视觉中充当区域提议网络（RPN）。故而，事件相机可在深度学习的二阶段目标检测器中充当区域提议网络。诸如 Mask R-CNN 的深度学习二阶段目标检测器由用于特征提取的主干网络和 RPN 组成。当前 RPN 采用暴力方法，尝试所有可能的边界框来检测物体。这需耗费大量计算时间生成区域提议，使二阶段检测器难以用于快速应用。本工作将 detectron2 中 Mask-RCNN 的 RPN 替换为事件相机，以生成运动物体的提议，从而节省时间且计算开销更低。所提方法速度快于二阶段检测器且精度相当。
引用
@article{arxiv.2305.00718,
title = {Event Camera as Region Proposal Network},
author = {Shrutarv Awasthi and Anas Gouda and Richard Julian Lodenkaemper and Moritz Roidl},
journal= {arXiv preprint arXiv:2305.00718},
year = {2023}
}