BERT 究竟意味着什么？评估 BERT 作为分布语义模型的表现
计算与语言
2020-05-11 v2
摘要
上下文词嵌入，即词语在上下文中的向量表示，自然被视为先前非上下文分布语义模型的扩展。在这项工作中，我们聚焦于 BERT——一种生成上下文嵌入并在多项语义任务上达到最先进水平的深度神经网络，并研究其嵌入空间的语义一致性。尽管 BERT 表现出向一致性发展的趋势，但其并未完全符合对语义向量空间的自然期望。特别地，我们发现词语出现所在句子的位置虽与语义无关，却会在词嵌入上留下明显痕迹并扰乱相似度关系。
引用
@article{arxiv.1911.05758,
title = {What do you mean, BERT? Assessing BERT as a Distributional Semantics Model},
author = {Timothee Mickus and Denis Paperno and Mathieu Constant and Kees van Deemter},
journal= {arXiv preprint arXiv:1911.05758},
year = {2020}
}