从问题到信任报告：面向 TREC 2025 DRAGUN 轨道的 LLM-IR 框架
信息检索
2026-03-25 v1
摘要
DRAGUN 轨道旨在解决用户评估在线新闻可信度的有效支持工具日益增长的需求。我们描述了提交用于 Task 1（关键问题生成）和 Task 2（检索增强的可信度报告）的 UR_Trecking 系统。我们的方法结合了基于 LLM 的问题生成与语义过滤、基于聚类的多样性强化以及几种查询扩展策略（包括基于推理的链式思考扩展），以从 MS MARCO V2.1 分段语料库中检索相关证据。检索到的文档使用 monoT5 模型重新排序，并通过 LLM 可信度判断器以及领域层面的可信度数据集进行过滤。对于 Task 2，所选证据被合成为带引用的简洁可信度报告。官方评估结果表明，链式思考查询扩展和重新排序在提高相关性和领域可信度方面均显著优于基线检索，而问题生成性能表现为中等水平，仍有提升空间。我们 concludes by 概述了遇到的关键挑战，并提出了在系统后续迭代中增强鲁棒性和可信度评估的方向。
引用
@article{arxiv.2603.23125,
title = {From Questions to Trust Reports: A LLM-IR Framework for the TREC 2025 DRAGUN Track},
author = {Ignacy Alwasiak and Kene Nnolim and Jaclyn Thi and Samy Ateia and Markus Bink and Gregor Donabauer and David Elsweiler and Udo Kruschwitz},
journal= {arXiv preprint arXiv:2603.23125},
year = {2026}
}
备注
TREC 2025 Proceedings