Neuro-LIFT：一种面向边缘无人机自主飞行的基于 LLM 的神经形态交互框架

将人类直觉交互整合到自主系统中的程度一直有限。传统的自然语言处理 (NLP) 系统在上下文和意图理解方面存在困难，严重限制了人机交互。大型语言模型 (LLM) 的最新进展改变了这一动态，允许通过语音和文本进行直观的高层通信，从而弥合了人类指令与机器人动作之间的差距。此外，自主导航已成为机器人研究的核心焦点，人工智能 (AI) 越来越多地被用于增强这些系统。然而，现有的基于 AI 的导航算法在需要快速决策的延迟关键型任务中面临重大挑战。传统的基于帧的视觉系统虽然对高层决策有效，但存在高能耗和延迟的问题，限制了其在实时场景中的适用性。结合事件相机和脉冲神经网络 (SNN) 的神经形态视觉系统通过实现节能、低延迟的导航，提供了一种有前景的替代方案。尽管具有潜力，但这些系统在现实世界中的实现，尤其是在无人机等物理平台上，仍然很少。在这项工作中，我们提出了 Neuro-LIFT，这是一个在 Parrot Bebop2 四旋翼无人机上实现的实时神经形态导航框架。利用 LLM 进行自然语言处理，Neuro-LIFT 将人类语音转化为高层规划指令，随后利用基于事件的神经形态视觉和物理驱动的规划自主执行这些指令。我们的框架展示了在动态环境中导航、避障以及实时适应人类指令的能力。