EDS-MEMBED：基于增强分布语义结构并通过词义图上游走的多义嵌入
计算与语言
2021-03-04 v1 机器学习
摘要
若干语言应用常需将词语语义作为其处理流程的核心部分，无论用于精确含义推断还是语义相似度。多义嵌入（M-SE）可被用于满足这一重要需求。M-SE 试图以各词的不同义项分别表示，以解决不同语境下用词含义混淆的问题。以往工作通常在大语料上训练模型，且常忽略词典资源所提供的语义关系的作用与效用。然而即便有大规模训练数据，对所有可能词义的覆盖仍是问题。此外，由于海量可能的分布语义结构从未被探索，相当比例的上下文语义知识从未被学到。本文中，我们利用 WordNet 中丰富的语义结构，通过对词义的图论游走技术来增强多义嵌入的质量。该算法由原始文本合成增强文本。进而，我们从已有度量推导出面向 M-SE 的新分布语义相似度度量，并将这些度量适配到实验的词义消歧（WSD）环节。我们在涉及 WSD 与词语相似度任务的 11 个基准数据集上报告评估结果，表明我们增强分布语义结构的方法在基线上提升了嵌入质量。尽管训练数据少，其在部分数据集上取得了 SOTA 性能。
引用
@article{arxiv.2103.00232,
title = {EDS-MEMBED: Multi-sense embeddings based on enhanced distributional semantic structures via a graph walk over word senses},
author = {Eniafe Festus Ayetiran and Petr Sojka and Vít Novotný},
journal= {arXiv preprint arXiv:2103.00232},
year = {2021}
}