从Copilot反馈中学习企业客户支持工作流的选择性LLM自主性
计算与语言
2026-04-28 v1 软件工程
摘要
我们提出了一个在企业业务流程管理(BPM)平台内自动化客户支持工作流的部署系统。该方法在生产环境中可扩展，能够在新流程部署后两周内实现选择性自动化，利用已大规模生成的监督信息：结构化的逐案UI交互轨迹和低开销的Copilot反馈，其中运营人员要么接受建议，要么提供纠正。分阶段的部署管道训练下一个UI动作策略，学习Copilot反馈中的评估器以校准退出 decisions，仅在背景中执行高置信度步骤，同时将不确定决策 defer 给运营人员，并从更新后的UI状态恢复。该设置使一名运营人员能够监督多个并发会话，并仅在系统不确定时被中断。该系统基于BPM界面模式驱动，包括生产监控和安全回退。在实际运行中，它自动化了45%的会话，平均处理时间缩短了39%，且未降低支持质量水平。
引用
@article{arxiv.2604.23855,
title = {Learning Selective LLM Autonomy from Copilot Feedback in Enterprise Customer Support Workflows},
author = {Nikita Borovkov and Elisei Rykov and Olga Tsymboi and Sergei Filimonov and Nikita Surnachev and Dmitry Bitman and Anatolii Potapov},
journal= {arXiv preprint arXiv:2604.23855},
year = {2026}
}