GLOW：用于网页搜索的全局加权自注意力网络

深度匹配模型旨在通过在第一阶段检索中将查询和文档映射为语义向量，帮助搜索引擎检索更相关的文档。当使用 BERT 作为深度匹配模型时，两个词之间的注意力分数仅建立在局部上下文词嵌入之上。其缺乏区分不同词重要性的先验全局知识，而后者已被证明在信息检索任务中起着关键作用。此外，BERT 仅在子词 token 之间执行注意力，削弱了整词注意力表示。我们提出了一种新颖的用于网页文档搜索的全局加权自注意力（Global Weighted Self-Attention, GLOW）网络。GLOW 将全局语料统计融合进深度匹配模型。通过从全局信息（如 BM25）向注意力生成中加入先验权重，GLOW 成功与查询矩阵 $Q$ 和键矩阵 $K$ 联合学习加权注意力分数。我们还提出了一种高效的整词权重共享方案，将先验整词知识引入子词级注意力。它有助于 Transformer 学习整词级注意力。为使我们的模型适用于复杂的网页搜索场景，我们引入组合字段表示以容纳具有多个字段甚至可变实例数量的文档。我们证明 GLOW 能更高效捕捉查询和文档中的主题与语义表示。在公开数据集上的内在评估和实验表明，GLOW 是文档检索任务的一个通用框架。它在保持与 BERT 相同模型复杂度的同时，以较大优势显著优于 BERT 及其他竞争性基线。