SECURE：基于语义感知的无意识情境下的具身对话机器人学习

本文解决了一个我们称为“无意识情境下的置换”（rearrangement under unawareness）的挑战性交互任务学习场景：智能体必须在不知道用于解决任务所必需关键概念的情况下操作刚体环境，并在部署期间学习有关该概念的信息。例如，用户可能要求“将两个苹果放入篮子中”，但智能体无法正确识别环境中哪些对象是“苹果”，因为该智能体尚未暴露于此类概念。我们引入SECURE，一个用于解决此类场景的交互式任务学习策略。SECURE的独特功能在于，其能够在处理具身对话和做出决策时进行语义分析。通过具身对话，SECURE智能体通过与用户进行对话来调整其不完整的领域模型，以识别和学习关于此前未曾发现的可能性的信息。当犯错时，SECURE智能体会从用户的具身纠正反馈中学习，并策略性地进行对话，以揭示与任务相关的新概念的有用信息。这些能力使SECURE智能体能够凭借所获知识对新任务进行泛化。我们在模拟的Blocksworld 环境和真实的苹果操作环境中展示了SECURE智能体——即解决此类无意识情境下的置换问题——比不进行具身对话或语义分析的智能体更数据高效。