BERT 缺乏常识：面向词义 BERTology 的相似度排序
计算与语言
2021-09-22 v1
摘要
关于 BERT 等上下文词嵌入（CWE）模型的一个重要问题是它们能在多大程度上表示不同词义，尤其是长尾中的罕见词义。与以往工作构建 WSD 系统不同，我们直接考察上下文嵌入邻域，构建了一个以例查询的最近邻检索任务，并检验了不同词频带中词与词义的排序性能。在基于两个英语义项标注语料库的评测中，我们发现若干流行的 CWE 模型即使对比例上稀见的词义，也能在无显式义项监督下超越随机基线。然而，即便在架构与预训练机制相似的模型间，性能也存在显著差别，对罕见词义的差异尤其大，这揭示出在以其原生表示逼近词义方面，CWE 模型并非生而等同。
引用
@article{arxiv.2109.09780,
title = {BERT Has Uncommon Sense: Similarity Ranking for Word Sense BERTology},
author = {Luke Gessler and Nathan Schneider},
journal= {arXiv preprint arXiv:2109.09780},
year = {2021}
}
备注
Accepted at BlackboxNLP 2021