通过原子事实增强与前瞻搜索实现 LLM 代理规划的 in-context 学习
机器学习
2025-06-12 v1 人工智能
计算与语言
摘要
大型语言模型 (Large Language Models, LLMs) 正日益增强，但在复杂交互式环境中往往需要显著指导或 extensive 交互历史才能发挥效果。现有方法在适应新信息或在无需微调的情况下高效利用过往经验进行多步推理方面常常不力。我们引入一种新型 LLM 代理框架，通过原子事实增强 (atomic fact augmentation) 和递归前瞻搜索 (recursive lookahead search) 实现 in-context 学习，从而提升规划能力。该代理从交互轨迹中提取任务关键的“原子事实”，这些事实动态地增强提供给负责动作提议、潜在世界模型仿真和状态价值估计的 LLM 组件的提示。规划通过受限深度的前瞻搜索完成，LLM 模拟潜在轨迹并评估其结果，依据积累的事实和交互历史进行指导。该方法使代理能够在不进行参数更新的情况下，利用经验在线改进其理解与决策，从而细化其行为。我们提供理论动机，将绩效与事实驱动的抽象质量及 LLM 仿真准确性联系起来。实验结果表明， Our 代理在具有挑战性的交互任务上表现出 improved 性能和适应性，随着经验积累实现更优化的行为，展示于 TextFrozenLake 和 ALFWorld 等任务中。
引用
@article{arxiv.2506.09171,
title = {Improving LLM Agent Planning with In-Context Learning via Atomic Fact Augmentation and Lookahead Search},
author = {Samuel Holt and Max Ruiz Luyten and Thomas Pouplin and Mihaela van der Schaar},
journal= {arXiv preprint arXiv:2506.09171},
year = {2025}
}
备注
9-page main paper, 1 figure. Accepted for an Oral presentation at the First Workshop on Computer Use Agents (ICML 2025), Vancouver, Canada