生成式信息检索模型的鲁棒性研究
信息检索
2024-12-30 v1
摘要
生成式信息检索方法通过直接生成文档标识符来检索文档。针对构建有效生成式 IR 模型已付出大量努力，但对这些模型鲁棒性的关注相对不足。评估生成式 IR 模型的 out-of-distribution (OOD) 泛化能力至关重要，即这些模型将如何泛化到新分布？为了回答此问题，我们从检索问题的四个角度考察 OOD 场景：(i) 查询变体；(ii) 未见查询类型；(iii) 未见任务；以及 (iv) 语料库扩展。基于此分类法，我们进行经验研究，分析了代表性生成式 IR 模型相对于稠密检索模型的 OOD 鲁棒性。我们的经验结果表明，生成式 IR 模型的 OOD 鲁棒性有待改进。通过检查生成式 IR 模型的 OOD 鲁棒性，我们旨在为开发更可靠的 IR 模型作出贡献。代码已 disponible at \url{https://github.com/Davion-Liu/GR_OOD}。
引用
@article{arxiv.2412.18768,
title = {On the Robustness of Generative Information Retrieval Models},
author = {Yu-An Liu and Ruqing Zhang and Jiafeng Guo and Changjiang Zhou and Maarten de Rijke and Xueqi Cheng},
journal= {arXiv preprint arXiv:2412.18768},
year = {2024}
}
备注
Accepted by ECIR 2025. arXiv admin note: substantial text overlap with arXiv:2306.12756