用于交互式决策的数程序合对话代理
人工智能
2025-11-05 v3
摘要
许多现实世界的资格问题， ranging from medical diagnosis to tax planning, 可以映射到以自然语言表达的决策问题，其中模型必须根据用户特征做出二元选择。大型域如法律代码或频繁更新的资助机会使得人工标注（如网页表单或决策树）难以实现, 这凸显了需要自动协助决策的代理。由于相关信息通常仅由用户知晓, 这些代理必须提出正确的问题。当代理确定何时终止对话时, 它们面临准确性与提问数量之间的权衡, 这是一个对用户体验和成本的关键指标。为了评估此任务, 我们提出 BeNYfits, 一个用于通过交互式决策确定用户资格于多个重叠社会福利机会的新基准。我们的实验表明, 当前语言模型在频繁幻觉方面困难, GPT-4o 仅以 ReAct 风格的链式思考获得 35.7 F1 分数。为解决此问题, 我们引入 ProADA, 一个新方法利用程序合成辅助决策, 将对话规划映射到代码生成问题, 并使用结构化数据中的空白确定最佳下一个动作。我们的代理 ProADA 将 F1 分数提高到 55.6, 同时保持几乎相同的对话轮数。
引用
@article{arxiv.2502.19610,
title = {Program Synthesis Dialog Agents for Interactive Decision-Making},
author = {Matthew Toles and Nikhil Balwani and Rattandeep Singh and Valentina Giulia Sartori Rodriguez and Zhou Yu},
journal= {arXiv preprint arXiv:2502.19610},
year = {2025}
}