Wikiformer：利用 Wikipedia 结构化信息进行 Ad-hoc 检索的预训练

随着深度学习与自然语言处理技术的发展，预训练语言模型已被广泛应用于解决信息检索（IR）问题。得益于预训练与微调范式，这些模型实现了 SOTA 性能。在以往的工作中，Wikipedia 中的纯文本被广泛用于预训练阶段。然而，Wikipedia 中丰富的结构化信息，如标题、摘要、层级标题（多级标题）结构、文章间的关系、参考文献、超链接结构以及写作组织形式，尚未得到充分探索。本文基于 Wikipedia 的结构化知识，设计了四个针对 IR 任务定制的预训练目标。与现有的预训练方法相比，我们的方法通过利用 Wikipedia 中由人工编辑的结构化数据，能够更好地捕捉训练语料库中的语义知识。在多个 IR 基准数据集上的实验结果表明，与现有的强检索基线相比，我们的模型在零样本和微调设置下均表现出优越的性能。此外，在生物医学和法律领域的实验结果表明，与以往模型相比，我们的方法在垂直领域取得了更好的性能，尤其是在需要长文本相似性匹配的场景中。