MIRA：一个由 LLM 辅助构建的多类别集成检索基准
信息检索
2026-05-13 v1
摘要
用户日益期望现代搜索系统提供一个统一的界面，无缝检索来自不同数据源和格式的信息。然而，当前的信息检索（IR）评估基准未能跟上这一发展，主要由于缺乏代表当代搜索领域多样性的测试集合。我们通过基于大规模社会科学搜索平台的 MIRA 基准，克服了这一关键性缺口。MIRA 旨在实现单一统一评估框架下的跨异构类别 - 出版物、研究数据、变量和仪器与工具 - 的类别感知排序。该集合具有以下特点：(1) 基于真实用户查询，提供更真实的评估基础；(2) 涵盖四个不同类别的学术物品，实现多维度评估；(3) 利用大型语言模型生成主题描述和叙事，以及针对这些主题的相关性评估，大幅降低了测试集合生成的劳动力和成本。我们发布这一资源以利于社区发展，为多层面、类别感知、集成或跨类别信息检索研究提供基础测试台。
引用
@article{arxiv.2605.11254,
title = {MIRA: An LLM-Assisted Benchmark for Multi-Category Integrated Retrieval},
author = {Mehmet Deniz Türkmen and Suchana Datta and Dwaipayan Roy and Daniel Hienert and Philipp Mayr and Derek Greene},
journal= {arXiv preprint arXiv:2605.11254},
year = {2026}
}
备注
Accepted to SIGIR 2026. Resource Paper. 8 pages, 2 figures. DOI:10.1145/3805712.3808614