语言模型能够解决计算机任务
计算与语言
2023-11-20 v3 人工智能
人机交互
机器学习
摘要
能够在计算机上执行通用任务的智能体可以通过自动化重复性任务以及辅助复杂问题解决来提高效率和生产力。理想情况下，此类智能体应能够通过自然语言指令解决呈现给它们的新的计算机任务。然而，先前解决该问题的方法需要大量专家演示和任务特定的奖励函数，这两者对于新任务都不切实际。在这项工作中，我们展示了预训练大语言模型（LLM）智能体可以使用简单的提示方案执行由自然语言引导的计算机任务，其中智能体递归地批评并改进其输出（RCI）。RCI 方法显著优于现有的用于自动化计算机任务的 LLM 方法，并在 MiniWoB++ 基准上超越了监督学习（SL）和强化学习（RL）方法。我们比较了多个 LLM，发现采用 InstructGPT-3+RLHF LLM 的 RCI 在 MiniWoB++ 上达到了最先进水平（SOTA），每个任务仅使用少量演示而非数万次，且无需任务特定的奖励函数。此外，我们展示了 RCI 提示在增强 LLM 于一系列自然语言推理任务上的推理能力的有效性，其性能优于带外部反馈的思维链（CoT）提示。我们发现 RCI 与 CoT 结合使用比单独使用任一种都更好。我们的代码可在此处找到：https://github.com/posgnu/rci-agent。
引用
@article{arxiv.2303.17491,
title = {Language Models can Solve Computer Tasks},
author = {Geunwoo Kim and Pierre Baldi and Stephen McAleer},
journal= {arXiv preprint arXiv:2303.17491},
year = {2023}
}