ExaRanker-Open：使用开源LLM为信息检索生成合成解释
信息检索
2024-02-12 v1 人工智能
计算与语言
摘要
ExaRanker近期引入了一种训练信息检索（IR）模型的方法，将自然语言解释作为附加标签。该方法解决了标注样本有限的问题，从而提升了IR模型的有效性。然而，初步结果是基于GPT-3.5等专有语言模型得出的，其成本和数据隐私问题限制了数据集的规模。在本文中，我们引入了ExaRanker-Open，在其中我们调整并探索了使用开源语言模型来生成解释。该方法已使用不同的LLM和数据集规模进行了测试，以更好地理解数据增强的有效贡献。我们的研究结果表明，引入解释能够持续增强神经排序器，且随着LLM规模的增加，其收益也不断提升。值得注意的是，即使在大型数据集上，该数据增强方法也证明是有利的，正如在我们的研究中ExaRanker以0.6 nDCG@10分超越了目标基准线所证明的那样。为了鼓励研究界取得进一步进展，我们在https://github.com/unicamp-dl/ExaRanker开源了代码和数据集。
引用
@article{arxiv.2402.06334,
title = {ExaRanker-Open: Synthetic Explanation for IR using Open-Source LLMs},
author = {Fernando Ferraretto and Thiago Laitz and Roberto Lotufo and Rodrigo Nogueira},
journal= {arXiv preprint arXiv:2402.06334},
year = {2024}
}