SemGloVe：从 BERT 中提取语义共现信息以增强 GloVe

Leilei Gan; Zhiyang Teng; Yue Zhang; Linchao Zhu; Fei Wu; Yi Yang

SemGloVe：从 BERT 中提取语义共现信息以增强 GloVe

计算与语言 2021-11-25 v2 人工智能

作者: Leilei Gan , Zhiyang Teng , Yue Zhang , Linchao Zhu , Fei Wu , Yi Yang

摘要

GloVe 通过利用词共现矩阵中的统计信息来学习词嵌入。然而，矩阵中的词对是从预定义的局部上下文窗口中提取的，这可能导致词对有限且可能存在语义无关的词对。在本文中，我们提出 SemGloVe，它将 BERT 中的语义共现信息蒸馏到静态 GloVe 词嵌入中。具体而言，我们提出两种模型，分别基于 BERT 的掩码语言模型或多头注意力权重来提取共现统计信息。我们的方法可以在不受局部窗口假设限制的情况下提取词对，并可通过直接考虑词对之间的语义距离来定义共现权重。在多个词相似度数据集和四项外部任务上的实验表明，SemGloVe 可以优于 GloVe。

关键词

词嵌入 GloVe BERT 语义共现掩码语言模型多头注意力词相似度

引用

@article{arxiv.2012.15197,
  title  = {SemGloVe: Semantic Co-occurrences for GloVe from BERT},
  author = {Leilei Gan and Zhiyang Teng and Yue Zhang and Linchao Zhu and Fei Wu and Yi Yang},
  journal= {arXiv preprint arXiv:2012.15197},
  year   = {2021}
}

备注

10 pages, 3 figures, 5 tables

SemGloVe：从 BERT 中提取语义共现信息以增强 GloVe

摘要

关键词

引用

备注

相关论文