AGENT-CQ：面向对话检索的澄清问题自动生成与评估框架

生成多样且有效的澄清问题对于提高开放域对话检索 (CS) 系统的查询理解和检索性能至关重要。我们提出了 AGENT-CQ (Automatic GENeration, and evaluaTion of Clarifying Questions)，一个以 LLM 为基础的端到端框架，解决现有方法依赖手动精选或模板化方法所面临的可扩展性和适应性挑战。AGENT-CQ 包含两个阶段：生成阶段采用 LLM 提示策略生成澄清问题，评估阶段 (CrowdLLM) 使用多个 LLM 实例来模拟人类众包判断，对生成的问题和答案进行评估，并基于全面质量指标进行评估。在 ClariQ 数据集上的大量实验表明，CrowdLLM 在评估问题和答案质量方面有效。在人类评估和 CrowdLLM 的结果表明，AGENT-CQ 的生成阶段在问题和答案质量的各个方面 consistently 优于基线。在检索评估中，LLM 生成的问题显著提高了 BM25 和 cross-encoder 模型的检索效果，相较于人类生成的问题效果更佳。