基于事件驱动随机反向传播的具身神经形态视觉
神经与进化计算
2019-05-07 v2 人工智能
机器学习
摘要
生物神经元之间的基于脉冲的通信是稀疏且不可靠的。这使得大脑能够高效地处理来自眼睛的视觉信息。受生物学启发，人工脉冲神经网络与硅视网膜相结合，试图对这些计算进行建模。机器学习的最新进展使得能够推导出一系列逼近脉冲网络反向传播的强大突触可塑性规则。这些规则能够处理真实世界的视觉感官数据吗？在本文中，我们评估了事件驱动随机反向传播（Event-Driven Random Back-Propagation, eRBP）从动态视觉传感器（Dynamic Vision Sensor, DVS）提供的事件流中学习表征的性能。首先，我们表明 eRBP 在 DvsGesture 数据集上达到了最先进的性能，并附加了一种简单的隐蔽注意机制。通过相对于运动中心重映射视觉感受野，该注意机制以比卷积更低的计算成本提供了平移不变性。其次，我们成功地将 eRBP 集成到一个真实的机器人设置中，其中机械臂根据检测到的视觉可供性抓取物体。在该设置中，视觉信息由安装在执行微跳视眼动的机器人头部上的 DVS 主动感知。我们表明，我们的方法在微跳视开始后 100 毫秒内对可供性进行分类，这与行为研究中报道的人类表现相当。我们的结果表明，神经形态技术和可塑性规则的进步使得开发高速、低能耗的自主机器人成为可能。
引用
@article{arxiv.1904.04805,
title = {Embodied Neuromorphic Vision with Event-Driven Random Backpropagation},
author = {Jacques Kaiser and Alexander Friedrich and J. Camilo Vasquez Tieck and Daniel Reichard and Arne Roennau and Emre Neftci and Rüdiger Dillmann},
journal= {arXiv preprint arXiv:1904.04805},
year = {2019}
}
备注
v2: title update, better plots and wordings. 8 pages, 9 figures, 1 table, video: https://neurorobotics-files.net/index.php/s/sBQzWFrBPoH9Dx7