解释并改进 BERT 在词汇语义变化检测上的表现
计算与语言
2021-03-15 v1
摘要
基于类型（type）和基于词例（token）的嵌入架构在词汇语义变化检测中仍在相互竞争。近期基于类型的模型在 SemEval-2020 Task 1 上的成功引发了一个问题：为何基于词例的模型在多种其他 NLP 任务上的成功未能转化到我们的领域。我们考察了一系列变量对 BERT 向量聚类的影响，并表明其较低性能主要源于目标词的正字法信息，这些信息即便在 BERT 表示的高层中也已被编码。通过降低正字法的影响，我们大幅提升了 BERT 的性能。
引用
@article{arxiv.2103.07259,
title = {Explaining and Improving BERT Performance on Lexical Semantic Change Detection},
author = {Severin Laicher and Sinan Kurtyigit and Dominik Schlechtweg and Jonas Kuhn and Sabine Schulte im Walde},
journal= {arXiv preprint arXiv:2103.07259},
year = {2021}
}
备注
EACL SRW, 6 Pages