蒸馏增强的生成式检索
计算与语言
2024-02-19 v1 人工智能
信息检索
摘要
生成式检索是一种新兴的文本检索范式，它将相关段落的标识符字符串生成为检索目标。该范式利用强大的生成式语言模型，区别于传统的稀疏或稠密检索方法。在本文中，我们确定了一个通过蒸馏进一步增强生成式检索的可行方向，并提出了一种名为 DGR 的可行框架。DGR 利用复杂的排序模型（如 cross-encoder）作为教师角色，提供捕捉段落不同相关度（而非二元硬标签）的段落排名列表；随后，DGR 采用专门设计的蒸馏 RankNet 损失来优化生成式检索模型，将教师模型提供的段落排序作为标签。该框架仅需额外的蒸馏步骤即可增强现有的生成式检索系统，且不给推理阶段增加任何负担。我们在四个公共数据集上进行了实验，结果表明 DGR 在生成式检索方法中实现了 state-of-the-art 性能。此外，DGR 在使用各种教师模型和蒸馏损失时表现出卓越的鲁棒性和泛化能力。
引用
@article{arxiv.2402.10769,
title = {Distillation Enhanced Generative Retrieval},
author = {Yongqi Li and Zhen Zhang and Wenjie Wang and Liqiang Nie and Wenjie Li and Tat-Seng Chua},
journal= {arXiv preprint arXiv:2402.10769},
year = {2024}
}