面向完全委派：为旅行规划设计理想代理行为
计算与语言
2024-11-22 v1
摘要
未来LLM-based代理如何被使用？虽然许多现有工作聚焦于提高特定一族目标和具有挑战性任务的性能，但本 work 从不同的视角出发，思考完全委派：代理接管人类日常决策过程，被信任去找到符合个体化需求且适应不断变化情境的解决方案。为实现这一目标，代理的行为，即代理行为，应该不仅在于其成就（即结果评估），也在于其实现方式（即程序评估）。为此，我们提出APEC Agent Constitution，即一系列代理应遵循的准则，以实现良好的代理行为，包括准确性、主动性、效率和可信度。为验证APEC是否符合人类偏好，我们开发了APEC-Travel，一个能够主动通过与旅行者进行多轮对话提取隐藏个性化需求的旅行规划代理。APEC-Travel完全基于Llama3.1-405B-Instruct生成的合成数据构建，旨在模拟丰富的对话分布。经过反复精细调优以遵循APEC Agent Constitution，APEC-Travel在宪法各轴向的规则基准指标上超越基线提升20.7%，在LLM-as-a-Judge评分上提升9.1%。
引用
@article{arxiv.2411.13904,
title = {Towards Full Delegation: Designing Ideal Agentic Behaviors for Travel Planning},
author = {Song Jiang and Da JU and Andrew Cohen and Sasha Mitts and Aaron Foss and Justine T Kao and Xian Li and Yuandong Tian},
journal= {arXiv preprint arXiv:2411.13904},
year = {2024}
}