引用再发言：增强电商对话式 LLM 代理的上下文-响应 grounding
计算与语言
2025-05-14 v3 人工智能
摘要
随着对话式大语言模型（LLM）的发展，已开发出多种 LLM 基于对话的购物代理（CSA）以帮助客户顺利完成在线购物。构建引人注眼且可信赖的 CSA 的主要目标是确保代理关于产品事实的回应准确且有 grounding。然而，仍存在两个挑战：其一，LLM 会产生幻觉或不受支持的主张，这些不准确的信息风险传播误导并削弱客户信任；其二，若未在 CSA 回应中提供知识来源归属，客户将难以核查 LLM 生成的信息。为解决这两个挑战，我们提出一种易于部署的解决方案，为客户提供“引用体验”。我们构建自评估指标来全面评估 LLM 的 grounding 和归属能力，表明引用生成范式可将 grounding 性能提升 13.83%。为大规模部署此功能，我们引入 Multi-UX-Inference 系统，在保留现有用户体验功能的同时将来源引用附加到 LLM 输出，并支持可扩展推理。大规模线上 A/B 测试显示，具 grounding 的 CSA 回应根据 UX 变体不同，使客户参与度提升 3% - 10%。
引用
@article{arxiv.2503.04830,
title = {Cite Before You Speak: Enhancing Context-Response Grounding in E-commerce Conversational LLM-Agents},
author = {Jingying Zeng and Hui Liu and Zhenwei Dai and Xianfeng Tang and Chen Luo and Samarth Varshney and Zhen Li and Qi He},
journal= {arXiv preprint arXiv:2503.04830},
year = {2025}
}