构建用于信息检索模型评估的俄语基准
信息检索
2025-04-18 v1 计算与语言
摘要
我们介绍 RusBEIR，一个用于俄语语言信息检索 (IR) 模型零样本评估的全面基准。该基准包含来自 various 领域的 17 个数据集，整合了适应版、翻译版和全新创建的数据集，实现对词典和神经模型的系统比较。我们的研究突显了在形态学丰富的语言中对词典模型进行预处理的重要性，并确认 BM25 作为完整文档检索的强基准。神经模型，如 mE5-large 和 BGE-M3，在大多数数据集上表现出优越性能，但在长文档检索方面面临输入大小限制的挑战。RusBEIR 提供了一个统一、开源的框架，推动俄语语言信息检索研究的发展。
引用
@article{arxiv.2504.12879,
title = {Building Russian Benchmark for Evaluation of Information Retrieval Models},
author = {Grigory Kovalev and Mikhail Tikhomirov and Evgeny Kozhevnikov and Max Kornilov and Natalia Loukachevitch},
journal= {arXiv preprint arXiv:2504.12879},
year = {2025}
}