压缩平移PMI矩阵：连接词嵌入与双曲空间
计算与语言
2020-09-29 v2 机器学习
摘要
我们表明，在带负采样的跳字模型（SGNS）目标中移除 sigmoid 变换不会显著损害词向量质量，同时该操作与分解一个压缩平移PMI矩阵相关，而后者可被视为随机图的连接概率矩阵。经验上，此类图是一个复杂网络，即它具有强聚类和无标度度分布，并且与双曲空间紧密关联。简言之，我们通过分析和经验方法，借助压缩平移PMI矩阵展示了静态词嵌入与双曲空间之间的联系。
引用
@article{arxiv.2002.12005,
title = {Squashed Shifted PMI Matrix: Bridging Word Embeddings and Hyperbolic Spaces},
author = {Zhenisbek Assylbekov and Alibi Jangeldin},
journal= {arXiv preprint arXiv:2002.12005},
year = {2020}
}
备注
AJCAI 2020