结合本体论知识与大语言模型构建用户友好服务机器人

通过机器人实现生活方式支持正日益成为备受期待的领域，人们期望机器人能够承担或协助完成地面清洁、摆放餐具、清理餐桌以及取物等家务。人工智能的快速发展，特别是大语言模型（LLMs）和视觉语言模型（VLMs）等基础模型，正在显著塑造这一领域。凭借自然交互能力及广泛通用知识，LLMs 正在为机器人任务提供宝贵支持。本文聚焦于 LLMs 在“召唤我”任务（即机器人根据用户指令取来特定物品）中的优势，这类任务常因指令模糊而面临挑战。我们之前的做法利用扩展环境数据以处理模糊指令的本体论，但在难以消除的歧义需用户干预的情况下仍受限。现将 LLMs 引入以提供额外常识知识，与本体论数据结合，以缓解幻觉问题并减少用户查询需求，从而提升系统可用性。我们构建的系统整合了这些知识库，并在“召唤我”任务上进行评估，旨在提供更顺畅高效的机器人协助体验。