mFollowIR：面向检索中指令遵循的多语言基准
信息检索
2025-02-03 v1 计算与语言
机器学习
摘要
检索系统通常专注于简短且未充分指定的网络风格查询。然而，语言模型的进步促进了能够理解具有多样化意图的复杂查询的检索模型的兴起。然而，这些工作完全集中在英语上；因此，我们尚不清楚它们在跨语言环境下的表现。我们引入了 mFollowIR，这是一个用于衡量检索模型中指令遵循能力的多语言基准。mFollowIR 建立在 TREC NeuCLIR 叙述（或指令）的基础之上，涵盖三种不同的语言（俄语、中文、波斯语），同时向检索模型提供查询和指令。我们对叙述进行微小的修改，以分离出检索模型对这些细微变化的遵循程度。我们展示了多语言 (XX-XX) 和跨语言 (En-XX) 性能的结果。我们观察到，使用指令训练的基于英语的检索器表现出强大的跨语言性能，但发现在多语言设置下性能显著下降，这表明在开发基于指令的多语言检索器的数据方面仍需更多工作。
引用
@article{arxiv.2501.19264,
title = {mFollowIR: a Multilingual Benchmark for Instruction Following in Retrieval},
author = {Orion Weller and Benjamin Chang and Eugene Yang and Mahsa Yarmohammadi and Sam Barham and Sean MacAvaney and Arman Cohan and Luca Soldaini and Benjamin Van Durme and Dawn Lawrie},
journal= {arXiv preprint arXiv:2501.19264},
year = {2025}
}
备注
Accepted to ECIR 2025