基于动态标识符预测的自助预训练生成式检索

生成式检索使用可微分的搜索索引，直接生成查询响应中相关文档的标识符。近期研究表明，经过精心设计的预训练任务训练的强大生成式检索模型，可通过微调来增强下游检索任务的性能。然而，由于依赖于预定义的静态文档标识符，而这些标识符可能不与不断演化的模型参数保持一致，因此目前尚未充分发挥预训练为生成式检索所能带来的潜力。本文引入了 BootRet，这是一种为生成式检索设计的自助预训练方法，通过动态调整预训练期间的文档标识符，以适应语料库持续记忆的需求。BootRet 包括三个关键训练阶段：(i)初始标识符生成，(ii)通过语料索引和相关性预测任务进行预训练，以及(iii)用于标识符更新的自助训练。为促进预训练阶段，我们进一步引入噪声文档和伪查询，这些由大型语言模型生成，旨在模拟索引和检索任务中的语义连接。实验结果表明，BootRet 在已有预训练生成式检索基线上显著优于，并即使在零样本设置下也能表现良好。