一词多义的几何

词的向量表示预示着对NLP中经典问题的变革性方法；最流行的例子是word2vec。然而，单一向量不足以建模许多（高频）词的一词多义性质，即具有多个含义的词。本文中，我们提出一种用于无监督一词多义建模的三重方法：(a)上下文表示，(b)义项归纳与消歧，以及(c)词位（作为词与义项对）表示。我们工作的一个关键特征是发现包含目标词的句子很好地由低秩子空间表示，而非向量空间中的点。我们随后展示与目标词特定义项相关的子空间倾向于沿一条线（一维子空间）相交，我们利用此性质通过一种利用表示的格拉斯曼几何的聚类算法来消歧义。该消歧算法，我们称之为$K$-Grassmeans，导致了一种在语料库中标注目标词不同义项的流程——产生词位向量表示，所有这一切都以无监督方式从大型（维基百科）英文语料库开始。除了若干典型目标（词，义项）示例以及大量用以直观理解和证明各种几何表示的实证研究外，我们在标准义项归纳与消歧数据集上验证了我们的算法，并给出了新的最先进结果。