用于词义消歧的语言模型分析与评估

基于 Transformer 的语言模型已席卷 NLP 的诸多领域。BERT 及其衍生模型凭借捕获上下文敏感语义细微差别的能力，主导了大多数现有的评估基准，包括词义消歧的评估基准。然而，对于它们在编码和恢复词义方面的能力与潜在局限，目前仍知之甚少。在本文中，我们针对词汇歧义问题，对著名的 BERT 模型提供了深入的定量与定性分析。我们分析的主要结论之一是，即使每个词义仅提供有限数量的示例，BERT 也能准确捕获高层级的词义区分。我们的分析还表明，在某些情况下，若训练数据与计算资源的可用性处于理想条件，语言模型已接近解决粗粒度名词消歧。然而，这种情况在现实场景中极少发生，因此即使在粗粒度设定下仍存在许多实际挑战。我们还对两种主要的基于语言模型的 WSD 策略（即微调与特征提取）进行了深入比较，发现后者对词义偏差更具鲁棒性，且能更好地利用有限的可用训练数据。事实上，即使每个词义仅使用三个训练句子，对上下文嵌入取平均这一简单的特征提取策略也表现出鲁棒性，而增加此训练数据的规模仅能带来极微小的性能提升。