缺少词嵌入？查查传统词典
计算与语言
2022-09-28 v1 人工智能
摘要
词嵌入是强大的词典，能够轻易捕捉语言变化。然而，这些词典无法为罕见词赋予语义，而令人惊讶的是，罕见词往往被传统词典所覆盖。本文提出利用传统词典中检索到的释义来生成罕见词的词嵌入。为此，我们引入了两种方法：定义神经网络（DefiNNet）与定义BERT（DefBERT）。在实验中，DefiNNet和DefBERT显著优于当前最优（SOTA）方法以及为生成未知词嵌入而设计的基线方法。事实上，DefiNNet显著优于基于n-gram实现同一任务的FastText，DefBERT显著优于针对OOV词的BERT方法。由此可见，传统词典中的释义有助于构建罕见词的词嵌入。
引用
@article{arxiv.2109.11763,
title = {Lacking the embedding of a word? Look it up into a traditional dictionary},
author = {Elena Sofia Ruzzetti and Leonardo Ranaldi and Michele Mastromattei and Francesca Fallucchi and Fabio Massimo Zanzotto},
journal= {arXiv preprint arXiv:2109.11763},
year = {2022}
}