BERT 有意义吗？基于上下文词嵌入的可解释词义消歧
计算与语言
2019-10-02 v2
摘要
由 ELMo (Peters et al., 2018)、Flair NLP (Akbik et al., 2018) 或 BERT (Devlin et al., 2019) 提供的上下文词嵌入（CWE）是 NLP 领域近期的一项重大创新。CWE 根据词语各自的上下文提供其语义向量表示。相较于静态词嵌入，其在文本分类、序列标注或机器翻译等多项任务上的优势已得到证明。由于同一词型的向量可随上下文不同而变化，它们隐式地提供了词义消歧（WSD）的模型。我们提出了一种简单而有效的 WSD 方法，利用对 CWE 的近邻分类实现。我们比较了不同 CWE 模型在该任务上的表现，并在两个标准 WSD 基准数据集上报告了超越当前最优（SOTA）的改进。我们进一步表明，预训练的 BERT 模型能够将多义词置于嵌入空间中不同的“词义”区域，而 ELMo 和 Flair NLP 似乎不具备这种能力。
引用
@article{arxiv.1909.10430,
title = {Does BERT Make Any Sense? Interpretable Word Sense Disambiguation with Contextualized Embeddings},
author = {Gregor Wiedemann and Steffen Remus and Avi Chawla and Chris Biemann},
journal= {arXiv preprint arXiv:1909.10430},
year = {2019}
}
备注
10 pages, 3 figures, 6 tables, Accepted for Konferenz zur Verarbeitung nat\"urlicher Sprache / Conference on Natural Language Processing (KONVENS) 2019, Erlangen/Germany