通过 NLI 微调改进特定领域检索
计算与语言
2023-08-08 v1 信息检索
摘要
本文旨在研究自然语言推理（NLI）数据在微调以提升信息检索与排序方面的潜力。我们针对英语与波兰语，使用来自波兰最大电商网站之一的数据及若干开放域数据集进行了验证。我们采用单语与多语句编码器，并通过利用对比损失与 NLI 数据的监督方法进行微调。结果表明，NLI 微调在两项任务与两种语言上均提升了模型性能，并具有改进单语与多语模型的潜力。最后，我们考察了嵌入的均匀性与对齐性，以解释基于 NLI 的微调在域外用例中的效果。
引用
@article{arxiv.2308.03103,
title = {Improving Domain-Specific Retrieval by NLI Fine-Tuning},
author = {Roman Dušek and Aleksander Wawer and Christopher Galias and Lidia Wojciechowska},
journal= {arXiv preprint arXiv:2308.03103},
year = {2023}
}