词嵌入的拓扑结构：奇点反映一词多义
计算与语言
2020-11-19 v1
摘要
流形假设表明词向量存在于其外围向量空间的一个子流形上。我们主张，更准确地说，我们应当预期它们存在于一个捏合流形上：即通过识别流形上某些点而得到的流形的奇异商空间。这些被识别的奇异点对应于多义词，即具有多个含义的词。我们的观点表明，可以根据词邻域的拓扑结构来区分单义词和多义词。我们提出两类经验证据来支持这一观点：(1) 我们引入一种基于持续同调的多义性拓扑度量，其与词的实际含义数量高度相关。(2) 我们针对 SemEval-2010 词义归纳与消歧任务提出一种简单的、受拓扑启发的解决方案，并取得了具有竞争力的结果。
引用
@article{arxiv.2011.09413,
title = {Topology of Word Embeddings: Singularities Reflect Polysemy},
author = {Alexander Jakubowski and Milica Gašić and Marcus Zibrowius},
journal= {arXiv preprint arXiv:2011.09413},
year = {2020}
}
备注
Accepted at the 9th Joint Conference on Lexical and Computational Semantics (*SEM 2020)