EvConv：面向高速机器人感知的事件相机输入快速 CNN 推理
机器人学
2023-03-09 v1 计算机视觉与模式识别
摘要
事件相机以高时间分辨率和宽动态范围捕获视觉信息，这使其能在快速变化的环境中以精细时间粒度（如微秒）捕获视觉信息。这使得事件相机对涉及快速运动的高速机器人任务（如高速感知、目标跟踪与控制）极为有用。然而，当前在事件相机流上的卷积神经网络推理无法以事件相机工作所需的高速进行实时推理——当前 CNN 推理时间在数量级上通常更接近常规基于帧的相机的帧率。要以事件相机速率进行实时推理，才能充分利用事件相机提供的高频率与高时间分辨率。本文提出 EvConv，一种用于事件相机输入在 CNN 上快速推理的新方法。我们观察到，事件相机送入 CNN 的连续输入之间仅存在微小差异。因此，我们提出对连续输入张量之间的差异（即增量）进行推理。由于增量非常稀疏，这显著减少了所需的浮点运算次数（从而减少推理延迟）。我们设计 EvConv 以利用事件相机增量中不规则的稀疏性，并让这些增量在网络各层保持稀疏。我们展示了前向传播所需浮点运算次数最多减少 98%。我们还展示了在深度估计、目标识别与光流估计等任务上使用 CNN 推理最高加速 1.6 倍，且精度几乎无损失。
引用
@article{arxiv.2303.04670,
title = {EvConv: Fast CNN Inference on Event Camera Inputs For High-Speed Robot Perception},
author = {Sankeerth Durvasula and Yushi Guan and Nandita Vijaykumar},
journal= {arXiv preprint arXiv:2303.04670},
year = {2023}
}