ABBEL：通过语言表达的信念瓶颈中的 LLM 代理
计算与语言
2025-12-24 v1 人工智能
机器学习
摘要
随着序列决策任务长度的增加，保持完整交互历史在计算上变得不可行。我们提出一种通用框架，使 LLM 代理能够通过多步交互保持简洁的上下文：通过语言表达的信念瓶颈中的行动（ABBEL），以及进一步通过 RL 后训练提升 ABBEL 代理的方法。ABBEL 用一个信念状态替代长期的多步骤交互历史，即关于任务相关未知数的自然语言总结。ABBEL 下，代理首先用最近的环境观察更新先验信念，以形成后验信念，然后仅使用该后验信念选择动作。我们在六个多样化的多步骤环境中，对ABBEL支持的前沿模型进行系统评估，发现ABBEL能够生成可解释的信念，同时在交互步骤之间保持近常数的内存使用。然而，瓶颈方法普遍易受误差传播影响，我们观察到在信念更新出错时，ABBEL 的表现低于完整上下文设置。因此，我们通过强化学习训练 LLM 在ABBEL框架内生成并依据信念进行行动。我们实验性地引入信念评分，以奖励更高质量的信念，以及信念长度惩罚，以奖励更紧凑的信念。我们的实验表明，RL 能够显著提升ABBEL的性能，超越完整上下文设置，同时使用更少的内存。
引用
@article{arxiv.2512.20111,
title = {ABBEL: LLM Agents Acting through Belief Bottlenecks Expressed in Language},
author = {Aly Lidayan and Jakob Bjorner and Satvik Golechha and Kartik Goyal and Alane Suhr},
journal= {arXiv preprint arXiv:2512.20111},
year = {2025}
}