SIGIR 2025 LiveRAG 挑战赛报告
计算与语言
2025-07-09 v2 信息检索
摘要
SIGIR 2025 的 LiveRAG 挑战赛于 2025 年 3 月至 5 月举行，为推进检索增强生成（RAG）技术提供了一个竞赛平台。来自学术界和工业界的参与者受邀使用固定语料库（Fineweb-10BT）和通用开源大语言模型（Falcon3-10B-Instruct）开发基于 RAG 的问答系统。其目标是促进检索和提示策略的具有挑战性的比较。在实时挑战日当天，来自 27 个不同国家的 70 支队伍在严格的两小时时间窗口内，为 500 个未见问题提供了答案和支持信息。评估分两个阶段进行：首先使用自动化的“大语言模型作为评判者”方法计算正确性和忠实度分数，然后对排名靠前的提交进行人工审查。决赛入围者于 2025 年 6 月 12 日公布，并在意大利帕多瓦举行的 SIGIR 2025 的 LiveRAG 研讨会上颁发奖项。
引用
@article{arxiv.2507.04942,
title = {SIGIR 2025 -- LiveRAG Challenge Report},
author = {David Carmel and Simone Filice and Guy Horowitz and Yoelle Maarek and Oren Somekh and Ran Tavory and Mehdi Ghissassi and Edo Liberty and Roy Miara},
journal= {arXiv preprint arXiv:2507.04942},
year = {2025}
}
备注
9 pages, 5 tables