规划、排除与追踪——语言模型是具身智能体的优良教师
计算与语言
2023-05-09 v2 人工智能
机器学习
摘要
预训练大语言模型（LLM）捕获了关于世界的程序性知识。近期工作利用 LLM 生成抽象规划的能力来简化极具挑战的控制任务，或通过动作评分，或通过动作建模（微调）。然而，Transformer 架构继承若干约束，使 LLM 难以直接作为智能体：例如输入长度有限、微调效率低、预训练偏差以及与纯文本环境不兼容。为保持与低层可训练执行器的兼容性，我们提出转而利用 LLM 中的知识来简化控制问题，而非求解之。我们提出规划、排除与追踪（PET）框架。规划模块将任务描述翻译为一系列高层子任务。排除模块针对当前子任务从观测中屏蔽无关物体与容器。最后，追踪模块判定智能体是否已完成各子任务。在 AlfWorld 指令跟随基准上，PET 框架相较 SOTA 在人类目标规约的泛化上取得显著的 15% 提升。
引用
@article{arxiv.2305.02412,
title = {Plan, Eliminate, and Track -- Language Models are Good Teachers for Embodied Agents},
author = {Yue Wu and So Yeon Min and Yonatan Bisk and Ruslan Salakhutdinov and Amos Azaria and Yuanzhi Li and Tom Mitchell and Shrimai Prabhumoye},
journal= {arXiv preprint arXiv:2305.02412},
year = {2023}
}