基于事件的机器人抓取检测：神经形态视觉传感器与事件流数据集
计算机视觉与模式识别
2020-05-04 v2
摘要
机器人抓取在机器人领域发挥着重要作用。当前最先进的机器人抓取检测系统通常构建于传统视觉之上，如 RGB-D 相机。与传统的基于帧的计算机视觉相比，神经形态视觉是一个小而年轻的研究领域。目前，由于异步事件流的标注困难，基于事件的数据集十分有限。标注大规模视觉数据集通常耗费大量计算资源，尤其是难以进行视频级标注的麻烦数据。在本工作中，我们考虑在包含物体的场景的移动相机视角中检测机器人抓取的问题。为获得更敏捷的机器人感知，引入了附着在机器人夹爪上的神经形态视觉传感器 (DAVIS) 以探索其在抓取检测中的潜在用途。我们构建了名为 Event-Stream Dataset 的机器人抓取数据集，包含 91 个物体。提出了一种时空混合粒子滤波器 (SMP Filter) 来跟踪基于 led 的抓取矩形，从而实现对每个物体单个抓取矩形的视频级标注。由于 led 以高频闪烁，Event-Stream 数据集以 1 kHz 的高频进行标注。基于 Event-Stream 数据集，我们开发了用于抓取检测的深度神经网络，将角度学习问题视为分类而非回归。该方法在我们的 Event-Stream 数据集上实现了高检测精度，在物体级别达到 93% 准确率。本工作提供了一个大规模且标注良好的数据集，并推动了神经形态视觉在敏捷机器人中的应用。
引用
@article{arxiv.2004.13652,
title = {Event-based Robotic Grasping Detection with Neuromorphic Vision Sensor and Event-Stream Dataset},
author = {Bin Li and Hu Cao and Zhongnan Qu and Yingbai Hu and Zhenke Wang and Zichen Liang},
journal= {arXiv preprint arXiv:2004.13652},
year = {2020}
}
备注
submit to the Frontiers Neurorobotics