PIRB：波兰语稠密与混合文本检索方法的综合基准
计算与语言
2024-03-12 v2
摘要
我们提出了波兰语信息检索基准（Polish Information Retrieval Benchmark, PIRB），这是一个包含 41 项波兰语文本信息检索任务的综合评估框架。该基准整合了现有数据集以及 10 个此前未发布的新数据集，涵盖医学、法律、商业、物理和语言学等多个主题。我们对 20 多种稠密和稀疏检索模型进行了广泛评估，包括我们训练的基线模型以及其他可用的波兰语和多语言方法。最后，我们引入了一种三步流程来训练高效的特定语言检索器，包括知识蒸馏、监督微调以及利用轻量级重排序模型构建稀疏 - 稠密混合检索器。为了验证我们的方法，我们训练了新的波兰语文本编码器，并将其结果与先前评估的方法进行比较。我们的稠密模型优于迄今为止的最佳解决方案，而混合方法的使用进一步提升了其性能。
引用
@article{arxiv.2402.13350,
title = {PIRB: A Comprehensive Benchmark of Polish Dense and Hybrid Text Retrieval Methods},
author = {Sławomir Dadas and Michał Perełkiewicz and Rafał Poświata},
journal= {arXiv preprint arXiv:2402.13350},
year = {2024}
}