将对话转化为工作流：面向服务 AI 代理的对话工作流提取与评估框架
计算与语言
2025-02-25 v1
摘要
自动化服务代理需要结构良好的工作流，以便对客户查询提供一致且准确的响应。然而，这些工作流通常是未记录在案的，且从对话中自动提取工作流的方法仍有待探索。在本工作中，我们提出了一个从历史交互中提取和评估对话工作流的新框架。我们的提取过程包含两个关键阶段：（1）基于关键程序元素选择相关对话的检索步骤，以及（2）使用基于问答的思维链（QA-CoT）提示的结构化工作流生成过程。为了全面评估提取工作流的质量，我们引入了一个自动化的代理和客户机器人模拟框架，以衡量它们在解决客户问题方面的有效性。在 ABCD 和 SynthABCD 数据集上的大量实验表明，与基线相比，我们的 QA-CoT 技术将平均宏准确率提高了 12.16%。此外，我们的评估方法与人工评估高度一致，为未来的研究提供了一个可靠且可扩展的框架。
引用
@article{arxiv.2502.17321,
title = {Turning Conversations into Workflows: A Framework to Extract and Evaluate Dialog Workflows for Service AI Agents},
author = {Prafulla Kumar Choubey and Xiangyu Peng and Shilpa Bhagavath and Caiming Xiong and Shiva Kumar Pentyala and Chien-Sheng Wu},
journal= {arXiv preprint arXiv:2502.17321},
year = {2025}
}