对比拉普拉斯特征映射
机器学习
2022-01-17 v1
摘要
图对比学习在某些相似性概念下，使相似/不相似节点对的节点表示相互吸引/排斥。它可与节点的低维嵌入相结合，以保留图的内在和结构性质。在本文中，我们用对比学习扩展了著名的拉普拉斯特征映射（Laplacian Eigenmaps），并称其为对比拉普拉斯特征映射（COntrastive Laplacian EigenmapS, COLES）。从受GAN启发的对比公式出发，我们指出许多对比图嵌入模型所基于的Jensen-Shannon散度在不相交的正、负分布下会失效，而这种分布在对比设置的采样过程中可能自然出现。相反，我们从解析上证明COLES本质上最小化了Wasserstein距离的代理，已知该距离在不相交分布下表现良好。此外，我们表明COLES的损失属于所谓的块对比损失（block-contrastive losses）族，此前已证明该类损失优于对比方法通常使用的成对损失。我们在常用基准/骨干网络上表明，与DeepWalk、GCN、Graph2Gauss、DGI和GRACE基线相比，COLES在精度/可扩展性上具有优势。
引用
@article{arxiv.2201.05493,
title = {Contrastive Laplacian Eigenmaps},
author = {Hao Zhu and Ke Sun and Piotr Koniusz},
journal= {arXiv preprint arXiv:2201.05493},
year = {2022}
}
备注
Accepted by NeurIPS 2021. Includes the main paper and the supplementary material. OpenReview: https://openreview.net/forum?id=iLn-bhP-kKH