面向嵌入空间中的概念泛化

人类能够通过联合学习物理现实的不同方面来构想物理现实。对于每一对与所感知现实相关的概念，可能对应一种相互关系，该关系本身是一个概念，但处于更高一层级。因此，我们至少可以对感知现实进行两个层级的描述，而由于二者语料内容不同，它们之间的转换映射通常是一对多的。在无人监督神经机器翻译模型（本质上是分别在单语语料上训练的一对一映射）取得成功之后，我们考察了其中所用无监督深度学习方法的进一步能力，并将其中部分方法应用于不同层级与度量的概念集合。利用图嵌入与词嵌入类技术，我们在无平行数据的情况下构建了一对多映射，从而通过将不同类型概念组合进统一概念框架来建立外部世界的联合向量表示。由于其潜在相似性，通过纯无监督方式对齐两个嵌入空间，可获得两个层级上认知对象之间的几何关系，使得能够在一个描述语境中利用另一描述来表达自然知识。