面向即席检索的预训练：超链接亦是所需

为预训练语言模型设计更贴近下游任务的预训练目标，可在微调阶段带来更好性能，尤其在即席检索领域。现有面向IR的预训练方法试图引入弱监督信号（如基于查询似然的采样）从原始文本语料构建伪查询-文档对。然而，这些信号严重依赖采样方法。例如，查询似然模型可能导致所构建预训练数据中的大量噪声。本文提出利用大规模超链接与锚文本为即席检索预训练语言模型。由于锚文本由网站管理员创建且通常可概括目标文档，其比特定算法有助于构建更准确可靠的预训练样本。考虑下游即席检索的不同视角，我们基于超链接设计了四项预训练任务。随后我们预训练Transformer模型以预测成对偏好，并与掩码语言模型目标联合优化。在两个大规模即席检索数据集上的实验结果表明，相较现有方法，我们的模型有显著提升。