让我们玩 Mono-Poly：BERT 可揭示词语的多义程度及义项可分割性
计算与语言
2021-05-03 v1
摘要
预训练语言模型（LMs）编码了关于语言结构的丰富信息，但其关于词汇多义性的知识仍不明确。我们提出了一种新颖的实验设置，用于分析专门针对不同语言（英语、法语、西班牙语和希腊语）训练的语言模型以及多语言 BERT 中的此类知识。我们在精心设计为反映不同义项分布的数据集上进行分析，并控制与多义性高度相关的参数如频率和语法范畴。我们证明 BERT 导出的表示反映了词语的多义程度及其义项可分割性。与多义性相关的信息在英语 BERT 嵌入中更为清晰，但其他语言的模型也能在不同多义程度的词语间建立相关区分。我们的结果有助于更好地理解上下文表示中所编码的知识，并为多语言词汇语义研究开辟新途径。
引用
@article{arxiv.2104.14694,
title = {Let's Play Mono-Poly: BERT Can Reveal Words' Polysemy Level and Partitionability into Senses},
author = {Aina Garí Soler and Marianna Apidianaki},
journal= {arXiv preprint arXiv:2104.14694},
year = {2021}
}
备注
Accepted to TACL. Pre-MIT Press publication version