Plansformer：利用 Transformer 生成符号规划
人工智能
2022-12-20 v1
摘要
大语言模型（LLMs）一直是活跃的研究对象，显著推动了自然语言处理（NLP）领域的发展。从 BERT 到 BLOOM，LLMs 在问答、摘要和文本生成等多种自然语言任务中超越了最先进的成果。许多正在进行的工作聚焦于理解 LLMs 的能力，包括其对世界知识、句法和语义的掌握。然而，将 LLMs 的文本能力拓展至符号推理进展缓慢，且主要集中于解决数学领域相关问题。本文中，我们探索将 LLMs 用于自动化规划——人工智能的一个分支，关注于实现达成目标的动作序列（规划），通常由智能体、自主机器人和无人车执行。我们提出 Plansformer；一种在规划问题上微调的 LLM，能够以更少的知识工程代价生成在正确性和长度方面表现良好的规划。我们还展示了 Plansformer 凭借 LLMs 的迁移学习能力，在解决不同复杂度规划领域的适应性。对于 Plansformer 的一种配置，我们在汉诺塔——一个谜题求解领域——实现了约 97% 的有效规划，其中约 95% 为最优规划。
引用
@article{arxiv.2212.08681,
title = {Plansformer: Generating Symbolic Plans using Transformers},
author = {Vishal Pallagani and Bharath Muppasani and Keerthiram Murugesan and Francesca Rossi and Lior Horesh and Biplav Srivastava and Francesco Fabiano and Andrea Loreggia},
journal= {arXiv preprint arXiv:2212.08681},
year = {2022}
}
备注
44 pages including supplementary material