Synapse：基于记忆的轨迹即范例提示用于计算机控制

构建基于大语言模型（LLM）的计算机控制智能体是一个新兴的研究领域，其中智能体接收计算机状态并执行动作以完成复杂任务。先前的计算机智能体已展现出上下文学习（ICL）的优势；然而，其性能受若干问题的制约。首先，LLM有限的上下文长度与复杂的计算机状态限制了范例数量，因为单个网页即可耗尽整个上下文。其次，当前方法中的范例（如高层规划与多选问答）无法表示完整轨迹，导致在长程任务中表现次优。第三，现有计算机智能体依赖任务特定的范例，忽视了任务间的相似性，从而对新任务泛化能力差。为应对这些挑战，我们提出Synapse，一种具有三个关键组件的计算机智能体：i) 状态抽象，从原始状态中过滤掉任务无关信息，从而在有限上下文中容纳更多范例；ii) 轨迹即范例提示，以抽象状态与动作的完整轨迹提示LLM，以改进多步决策；iii) 范例记忆，存储范例的嵌入并通过相似度检索实现新任务泛化。我们在标准任务套件MiniWoB++与真实网站基准Mind2Web上评估Synapse。在MiniWoB++中，Synapse仅使用48个任务的演示即在64个任务上取得99.2%的平均成功率（相对提升10%）。值得注意的是，Synapse是首个在MiniWoB++中解决订机票（book-flight）任务的ICL方法。在Mind2Web中，Synapse的平均步骤成功率较先前最优提示方案相对提升56%。