以精准为目标定制：基于编辑的智能体用于开放域流程定制
计算与语言
2024-06-03 v3
摘要
诸如如何种植花园之类的操作指南如今被数百万用户使用，但有时需要根据用户的特定需求进行定制，例如无农药种植花园。我们的目标是衡量并提升 LLM 执行此类定制的能力。我们的方法是测试几种用于定制的简单多 LLM 智能体架构，以及一个端到端 LLM，所使用的全新评测集称为 CustomPlans，包含超过 200 个 WikiHow 流程，每个均带有一个定制需求。我们发现，一种顺序使用两个 LLM 智能体的简单架构表现最佳：一个负责编辑通用操作指南，另一个验证其可执行性，其绝对性能显著优于（高出 10.5%）端到端提示的 LLM。这表明 LLM 可以被合理地有效配置用于流程定制。这也表明，多智能体编辑架构未来可能值得进一步探索用于其他定制应用（例如编程、创意写作）。
引用
@article{arxiv.2311.09510,
title = {Tailoring with Targeted Precision: Edit-Based Agents for Open-Domain Procedure Customization},
author = {Yash Kumar Lal and Li Zhang and Faeze Brahman and Bodhisattwa Prasad Majumder and Peter Clark and Niket Tandon},
journal= {arXiv preprint arXiv:2311.09510},
year = {2024}
}
备注
Camera ready version accepted to Findings of ACL 2024