评估波兰语文本排序模型的泛化能力
计算与语言
2024-02-23 v1
摘要
检索增强生成 (RAG) 已成为将内部知识库与大语言模型集成的一种日益流行的技术。在典型的 RAG 流水线中，使用了三个模型，分别负责检索、重排序和生成阶段。本文聚焦于波兰语的重排序问题，考察重排序器 (rerankers) 的性能，并将其结果与可用的检索模型进行比较。我们利用包含 41 个多样化波兰语信息检索任务的基准测试，对现有模型和我们训练的模型进行了全面评估。实验结果表明，大多数模型在跨领域泛化方面存在困难。然而，结合有效的优化方法和大型训练数据集，可以构建出既紧凑又具备泛化能力的重排序器。我们最好的模型确立了波兰语重排序的新最先进水平 (SOTA)，其性能优于参数量多达其 30 倍的现有模型。
引用
@article{arxiv.2402.14318,
title = {Assessing generalization capability of text ranking models in Polish},
author = {Sławomir Dadas and Małgorzata Grębowiec},
journal= {arXiv preprint arXiv:2402.14318},
year = {2024}
}