用于自主无人机飞行的全神经形态视觉与控制

生物感知与处理是异步且稀疏的，带来了低延迟和节能的感知与动作。在机器人学中，用于基于事件的视觉和脉冲神经网络的神经形态硬件有望展现类似特性。然而，由于当前嵌入式神经形态处理器中受限的网络规模以及训练脉冲神经网络的困难，机器人实现仅限于具有低维感官输入和运动动作的基础任务。在此，我们提出首个用于控制自由飞行无人机的全神经形态视觉到控制流水线。具体而言，我们训练了一个脉冲神经网络，其接受高维原始基于事件的相机数据并输出用于执行自主基于视觉飞行的低级控制动作。网络的视觉部分由五层和 28.8k 个神经元组成，将传入的原始事件映射为自我运动估计，并在真实事件数据上通过自监督学习训练。控制部分由单层解码层组成，并在无人机模拟器中通过进化算法学习。机器人实验显示了全学习神经形态流水线的成功 sim-to-real 迁移。无人机可准确跟随不同的自我运动设定点，实现悬停、降落和侧向机动$\unicode{x2014}$即使同时偏航。该神经形态流水线在 Intel 的 Loihi 神经形态处理器上板载运行，执行频率为 200 Hz，每次推理仅消耗 27 $\unicode{x00b5}$J。这些结果说明了神经形态感知与处理在实现更小、更智能机器人方面的潜力。