MODS：协调文档发言人混合体以总结文档集合中的可辩论查询
计算与语言
2025-02-04 v1 信息检索
摘要
查询聚焦式摘要（QFS）提供文档摘要以回答查询。以往的 QFS 工作假设查询只有一个答案，忽略了可辩论的查询（例如，读法学院值得吗？）。我们引入了可辩论查询聚焦式摘要（DQFS），这是一项通过包含对立观点的文档来创建回答可辩论查询的摘要的任务；摘要必须全面覆盖所有来源并平衡各方观点，不偏袒任何一方。这些目标令大语言模型（LLM）QFS 系统难以实现，因为：1）它们缺乏结构化的内容规划，无法引导 LLM 写出平衡的摘要；2）它们使用相同的查询跨文档检索上下文，无法覆盖每个文档内容所特有的所有观点。为了克服这一点，我们设计了 MODS，一个模拟人类小组讨论的多 LLM 框架。MODS 将文档视为独立的发言人 LLM，并设有一个主持人 LLM，该主持人选择发言人来回答针对计划主题定制的查询。发言人使用定制的查询从其文档中检索相关上下文并提供观点，这些观点被记录在一个丰富的大纲中，从而生成一个内容规划来指导最终摘要。在包含有争议网络查询的 ConflictingQA 数据集以及我们基于 Debatepedia 辩论查询构建的新数据集 DebateQFS 上的实验表明，基于新的引用指标，MODS 在主题段落覆盖率和平衡性方面以 38-59% 的优势超越了 SOTA。用户也认为 MODS 的摘要可读性更强且更平衡。
引用
@article{arxiv.2502.00322,
title = {MODS: Moderating a Mixture of Document Speakers to Summarize Debatable Queries in Document Collections},
author = {Nishant Balepur and Alexa Siu and Nedim Lipka and Franck Dernoncourt and Tong Sun and Jordan Boyd-Graber and Puneet Mathur},
journal= {arXiv preprint arXiv:2502.00322},
year = {2025}
}
备注
Accepted at NAACL 2025(main)