通过协作语言引导的逆规划实现实用指令跟随与目标辅助

人们经常给出在没有进一步上下文时含义模糊的指令，期望他们的行动或目标能消除意图的歧义。我们如何构建能够以灵活、上下文敏感的方式遵循此类指令的辅助智能体？本文介绍了协作语言引导的逆规划搜索（CLIPS），一种用于实用指令跟随和目标辅助的贝叶斯智能体架构。我们的智能体通过将人类建模为一个协作规划者来辅助人类，该规划者向助手传达联合计划，然后从行动和语言中对人类的目标进行多模态贝叶斯推理，使用大语言模型（LLM）评估给定假设计划下指令的可能性。基于这个后验，我们的助手采取行动以最小化期望的目标实现成本，使其能够实用地遵循模糊指令，并在对目标不确定时提供有效的辅助。我们在两个协作规划领域（门、钥匙与宝石以及VirtualHome）中评估了这些能力，发现CLIPS在准确性和帮助性方面显著优于GPT-4V、基于LLM的字面指令跟随和单模态逆规划，同时与人类评分者提供的推理和辅助判断高度匹配。