关于词义嵌入 $\ell_2$ 范数的奇特现象
计算与语言
2022-10-27 v1
摘要
我们证明了，静态词义嵌入的 范数编码了该词义在学习词义嵌入所用的训练语料库中的频率相关信息。这一发现可以被视为先前已知的词嵌入关系向词义嵌入的扩展。我们的实验结果表明，尽管简单，词义嵌入的 范数在几个与词义相关的任务中是一个惊人有效的特征，例如 最频繁词义预测、Word-in-Context (WiC) 和 词义消歧 (WSD)。特别是，通过简单地将词义嵌入的 范数作为特征包含在分类器中，我们表明可以改进使用静态词义嵌入的 WiC 和 WSD 方法。
引用
@article{arxiv.2210.14815,
title = {On the Curious Case of $\ell_2$ norm of Sense Embeddings},
author = {Yi Zhou and Danushka Bollegala},
journal= {arXiv preprint arXiv:2210.14815},
year = {2022}
}
备注
Accepted to Findings of EMNLP 2022