Agent-in-the-Loop：面向 LLM 客户支持系统的持续数据飞轮
人工智能
2025-10-10 v2
摘要
我们提出了一种 Agent-in-the-Loop（AITL）框架，用于实现 LLM 客户支持系统的迭代式持续改进。不同于依赖批量标注的离线方法，AITL 将四类关键类型注释直接集成到实际客户操作中：(1) 成对响应偏好，(2) 智能体采纳及其理由，(3) 知识相关性检查，以及 (4) 缺失知识识别。这些反馈信号无缝反馈至模型更新，使 retraining 周期从数月缩短至数周。我们的生产试点涉及美国-based 客户支持智能体，显示出显著的改进：检索准确率提升 (+11.7% recall@75, +14.8% precision@8)，生成质量提升 (+8.4% helpfulness)，以及智能体采纳率提升 (+4.5%)。这些结果凸显了将人类反馈循环直接嵌入操作工作流程，以持续细化 LLM 客户支持系统的有效性。
引用
@article{arxiv.2510.06674,
title = {Agent-in-the-Loop: A Data Flywheel for Continuous Improvement in LLM-based Customer Support},
author = {Cen Mia Zhao and Tiantian Zhang and Hanchen Su and Yufeng Wayne Zhang and Shaowei Su and Mingzhi Xu and Yu Elaine Liu and Wei Han and Jeremy Werner and Claire Na Cheng and Yashar Mehdad},
journal= {arXiv preprint arXiv:2510.06674},
year = {2025}
}
备注
EMNLP 2025 Industry Track submission (Paper #305). Preprint. Main text within the 7-page industry limit (references/appendices excluded). Contains multiple figures and tables