System-1.x: 学习用语言模型平衡快速与慢速规划

语言模型可以以两种截然不同的模式解决长期规划问题：一种是快速的“系统-1”模式，直接生成计划而不进行任何显式搜索或回溯；另一种是慢速的“系统-2”模式，通过显式搜索可能的动作逐步规划。虽然系统-2 通常更有效，但它的计算成本也更高，使其不适用于长计划或大型动作空间。此外，孤立的系统-1 或系统-2 忽略了用户的最终目标，无法提供控制模型行为的方法。为此，我们提出了 System-1.x 规划器，这是一个基于大型语言模型 (LLM) 的可控规划框架，能够生成混合计划并根据当前问题的难度在两种规划模式之间取得平衡。System-1.x 由 (i) 一个控制器、(ii) 一个系统-1 规划器和 (iii) 一个系统-2 规划器组成。基于用户指定的控制系统-1 和系统-2 混合比例的混合因子 (x)，控制器将问题分解为子目标，并将其分类为简单或困难，分别由系统-1 或系统-2 解决。我们在单个基础 LLM 之上微调了所有三个组件，仅需要搜索轨迹作为监督。在两个不同的规划任务——迷宫导航和积木世界——上的实验表明，我们的 System-1.x 规划器优于系统-1 规划器、一个训练用于近似 A* 搜索的系统-2 规划器，以及一个符号规划器 (A*)。我们展示了我们规划器的以下关键特性：(1) 可控性：增加混合因子（例如，System-1.75 对比 1.5）会执行更多搜索，从而提高性能；(2) 灵活性：通过构建一个具有神经系统-1 和符号系统-2 的神经符号变体，我们可以使用现有的符号方法；(3) 泛化性：通过能够从不同的搜索算法中学习，我们的方法对搜索算法的选择具有鲁棒性。