用于鲁棒嵌入式神经机器人学的Nengo与低功耗AI硬件

本文展示了Nengo神经建模与仿真库如何使用户借助熟悉的工具（如Keras和Python）快速开发用于神经形态硬件仿真的机器人感知与动作神经网络。我们确定了构建鲁棒嵌入式神经机器人系统的四个主要挑战：1）开发与环境及传感器接口的基础设施；2）处理特定任务的感觉信号；3）生成鲁棒、可解释的控制信号；4）将神经网络编译以在目标硬件上运行。Nengo通过以下方式助力应对这些挑战：1）提供NengoInterfaces库，定义简单而强大的API供用户与仿真和硬件交互；2）提供NengoDL库，让用户使用Keras和TensorFlow API开发Nengo模型；3）实现神经工程框架，提供用于实现已知函数和电路的白盒方法；4）提供多个后端库（如NengoLoihi），使用户能将同一模型编译到不同硬件。我们给出两个使用Nengo开发在CPU、GPU和英特尔神经形态芯片Loihi上运行的神经网络的示例以展示该工作流。第一个示例是一个端到端脉冲神经网络，控制Mujoco中仿真的漫游车。该网络集成了一个深度卷积网络处理挂载摄像头的视觉输入以跟踪目标，以及一个实现转向和驱动功能引导漫游车抵达目标的控制系统。第二个示例为基于力的操作空间控制器增强神经自适应控制，以使用真实世界的Kinova Jaco2机械臂在到达任务中提升性能。我们提供代码与细节，旨在使其他研究者能构建自己的神经机器人系统。