未知环境中语言指定任务的空地协同

随着自主机器人系统日益成熟，用户将希望在意图层面而非低级细节层面指定任务。语言是用于此类任务指定的一种富有表现力且直观的媒介。然而，实现语言引导的机器人团队需要克服重大的技术障碍。解释和实现语言指定的任务需要高级语义推理。成功的异构机器人必须在不同视角间有效地协调行动和共享信息。此外，机器人之间的通信通常是间歇性的，需要利用通信机会来维持协调并实现任务目标的鲁棒策略。在本工作中，我们提出了一种首创的系统，其中无人机（UAV）和无人地面车辆（UGV）能够协作完成以自然语言指定的任务，同时实时响应任务指定的变化。我们利用由大型语言模型（LLM）驱动的规划器，对在线构建并在空中与地面机器人之间机会性共享的语义-度量地图进行推理。我们考虑城市和农村地区的任务驱动导航。我们的系统必须推断与任务相关的语义，并通过语义建图主动获取信息。在地面和空地协同实验中，我们在高达千米尺度的导航中展示了我们的系统在七种不同的自然语言指定下的表现。