仅LLM能做推理吗？小型语言模型在任务规划中的潜力

在机器人领域，大型语言模型（LLMs）的使用日益普及，尤其是用于理解人类指令。特别是，LLMs被用作高级人类指令的领域无关任务规划器。LLMs具备链式思维（CoT）推理能力，这使其能够成为任务规划器。然而，我们需要考虑的是，现代机器人仍然难以执行复杂动作，且机器人可部署的领域在实际中是受限的。这引出我们提出的问题：如果小型语言模型能够在单个领域中进行链式推理训练，那么即使是小型语言模型也能成为机器人的优秀任务规划器吗？为了训练较小的语言模型进行链式推理，我们构建了"COmmand-STeps datasets'（COST）数据集，包含高级指令及其对应的可操作低级步骤，通过LLMs生成。我们不仅发布了数据集，还发布了用于生成数据集的提示模板，以便任何人为自己的领域构建数据集。我们将GPT3.5和GPT4与微调的GPT2进行比较，用于任务域中的任务规划，在桌面和厨房环境中，结果显示GPT2-medium在特定领域的任务规划方面与GPT3.5相当。我们的数据集、代码和更多输出样本可在 https://github.com/Gawon-Choi/small-LMs-Task-Planning 查找。