少说话，多调用：通过自动提示优化与角色提示提升角色扮演 LLM 代理
计算与语言
2025-10-14 v2 人工智能
人机交互
摘要
本报告探讨了针对大型语言模型 (LLM) 的工具增强型代理在Commonsense Persona-grounded Dialogue Challenge (CPDC) 2025 API轨道中的角色扮演对话方式。 在此场景下， dialogue代理常常会产生过长的角色内响应（过度发言），同时未能根据角色有效使用工具（不足行为），例如生成不存在的函数调用或在作答前进行不必要的工具调用。我们探索了四种提示方法以解决这些问题：1) 基本角色提示，2) 改进的角色提示，3) 自动提示优化 (APO)，以及4) 基于规则的角色提示。基于规则的角色提示 (RRP) 方法通过两种新技术—角色卡/场景契约设计和严格执行函数调用—实现了最佳性能，最终得分达到0.571，显著优于零样本基线得分0.519。这些发现表明，RRP设计在可靠性和有效性方面显著优于诸如APO等更为精心设计的方法。为支持未来开发人员构建角色提示工作，我们开源了所有最佳性能提示以及APO工具。源代码地址为 https://github.com/scb-10x/apo
引用
@article{arxiv.2509.00482,
title = {Talk Less, Call Right: Enhancing Role-Play LLM Agents with Automatic Prompt Optimization and Role Prompting},
author = {Saksorn Ruangtanusak and Pittawat Taveekitworachai and Kunat Pipatanakul},
journal= {arXiv preprint arXiv:2509.00482},
year = {2025}
}
备注
EMNLP 2025 Wordplay Workshop (Spotlight)