基于神经网络的图嵌入及之外的表示能力
机器学习
2018-07-13 v2 机器学习
摘要
我们考虑基于神经网络的图嵌入中使用的连体式相似度函数的表示能力。通过神经网络计算的特征向量的内积相似度 (IPS) 常用于表示两个节点间关联的强度。然而，关于 IPS 表示能力的工作甚少。最近的一项工作阐明了 IPS 的本质，揭示 IPS 具有逼近任意正定 (PD) 相似度的能力。但是，一个简单的例子展示了 IPS 逼近非 PD 相似度的基本局限。我们随后提出一种名为偏移 IPS (SIPS) 的新模型，可任意好地逼近任意条件正定 (CPD) 相似度。CPD 是 PD 的推广，具有许多例子如负 Poincaré 距离和负 Wasserstein 距离，因此 SIPS 具有显著影响，可在不需精心配置相似度函数的情况下大幅改善图嵌入的适用性。我们的数值实验展示了 SIPS 相对于 IPS 的优越性。在理论上，我们通过考虑 Minkowski 空间中的内积进一步将 SIPS 推广到 CPD 之外，使其能逼近更一般的相似度。
引用
@article{arxiv.1805.12332,
title = {On representation power of neural network-based graph embedding and beyond},
author = {Akifumi Okuno and Hidetoshi Shimodaira},
journal= {arXiv preprint arXiv:1805.12332},
year = {2018}
}
备注
13 pages (with Supplementary Material), 12 figures, ICML2018 workshop on Theoretical Foundations and Applications of Deep Generative Models (TADGM)