将词义消歧融入神经语言模型
计算与语言
2022-03-16 v3 人工智能
摘要
我们提出了两种有监督的（预）训练方法，将词典资源中的释义定义融入神经语言模型（LMs）。该训练提升了我们模型在词义消歧（WSD）上的性能，同时也有利于通用语言理解任务，且几乎不增加参数。我们使用七种不同的神经语言模型评估了我们的技术，发现 XLNet 比 BERT 更适合 WSD。我们性能最佳的方法在 SemCor 3.0 数据集上以 0.5% F1 超过最先进的 WSD 技术，并使 BERT 在 GLUE 基准上的平均性能提升 1.1%。
引用
@article{arxiv.2106.07967,
title = {Incorporating Word Sense Disambiguation in Neural Language Models},
author = {Jan Philip Wahle and Terry Ruas and Norman Meuschke and Bela Gipp},
journal= {arXiv preprint arXiv:2106.07967},
year = {2022}
}