用检索启发式诊断 BERT

词嵌入自 2013 年 word2vec 发布以来广受欢迎，已成为 NLP 工程流程的中坚力量。近来，随着 BERT 的发布，词嵌入已从基于词的嵌入空间转向上下文嵌入空间——每个词不再由单一低维向量表示，而是由每个词及其上下文共同决定向量权重。BERT 的设置与架构已被证明具有足够的通用性，可应用于许多自然语言任务。对信息检索（IR）而言重要的是，与先前需要大量调参神经网络架构和训练机制的 IR 深度学习方案不同，“原生 BERT”已被证明以较大优势超越现有检索算法，包括在长期难以相较传统 IR 基线取得检索效果提升的任务和语料上（如 Robust04）。本文中，我们采用新近提出的公理化数据集分析技术——即构建各自满足某一检索启发式（包括词项匹配与基于语义的）的诊断数据集——来探究 BERT 能够学到什么。与我们的预期相反，我们发现当 BERT 应用于近期发布的大规模网页语料及即兴查询主题时，并不遵循任何所考察的公理。同时，BERT 以 40% 的优势超越传统查询似然检索模型。这意味着 IR 的公理化方法（及其为检索启发式构建诊断数据集的扩展）在当前形式下可能不适用于大规模语料，需要额外不同的公理。