面向荷兰语的零样态信息检索基准：BEIR-NL
计算与语言
2024-12-12 v1
摘要
零样态信息检索（IR）模型的评估常使用BEIR；这是一个由多个数据集组成的大型且异构的基准，覆盖不同检索任务和各种领域。尽管BEIR已成为零样态设置的标准基准，但其仅限英文内容降低了对IR中欠代表语言（包括荷兰语）的实用性。为解决这一局限性并鼓励开发荷兰语IR模型，本文提出BEIR-NL，通过自动翻译公开可用的BEIR数据集。利用BEIR-NL，我们评估了广泛的多语言密集排序和重排序模型，以及词典BM25方法。我们的实验表明，BM25仍是具有竞争力的基线，仅被更大的密集模型（针对检索训练）所超越。在结合重排序模型后，BM25的性能与最佳密集排序模型持平。此外，我们探索了翻译对数据的影响，通过将部分数据集翻译回英文并观察到两种密集和词典方法的性能下降，表明翻译创建基准的局限性。BEIR-NL已公开于Hugging Face hub。
引用
@article{arxiv.2412.08329,
title = {BEIR-NL: Zero-shot Information Retrieval Benchmark for the Dutch Language},
author = {Nikolay Banar and Ehsan Lotfi and Walter Daelemans},
journal= {arXiv preprint arXiv:2412.08329},
year = {2024}
}
备注
To be presented at BUCC 2025 (COLING)