基于时空神经网络与动态视觉传感器的高速运动理解

本文提出了一种基于动态视觉传感器（Dynamic Vision Sensor, DVS）的用于推理高速运动的系统。作为一个代表性场景，我们考虑静止机器人在面对以高于 15m/s 速度快速接近的小物体时作出反应的情况。由于常规图像传感器在典型帧率下仅能观测到此类物体几帧，估计其底层运动对标准计算机视觉系统和算法而言是相当大的挑战。本文中我们提出了一种受昆虫等动物以其相对简单的视觉系统解决该问题方式启发的方法。我们的方案获取 DVS 的事件流，首先用一组跨多个时间尺度的因果指数滤波器对时间事件进行编码。我们将这些滤波器与卷积神经网络（Convolutional Neural Network, CNN）耦合以高效提取相关时空特征。该组合网络学习输出物体的期望碰撞时间，以及在离散化极坐标网格上的预测碰撞点。这些关键估计由网络以最小延迟计算，以便对 incoming 物体作出恰当反应。我们展示了系统对一个以 23.4m/s 运动的玩具飞镖的结果，其 ${\theta}$ 误差为 24.73{\deg}，平均离散化半径预测误差为 18.4mm，碰撞时间预测误差中位数为 25.03%。