绕过 Skip-Gram 负采样：维度正则化作为更高效图嵌入的替代方案
机器学习
2025-06-03 v2 社会与信息网络
机器学习
摘要
图嵌入目标的一部分是强制相似性，以吸引被视为相似的节点嵌入；另一部分是强制不相似性，以排斥被视为不相似的节点嵌入。没有排斥，嵌入将坍缩为平凡解。Skip-Gram 负采样 (SGNS) 是一种流行且高效的排斥方法，通过排斥每个节点与一组被视为不相似的节点来防止坍缩。在本工作中，我们表明，当排斥最为必要且嵌入趋向坍缩时，SGNS 的节点级排斥在整体上是一个近似的重新中心化节点嵌入维度的操作。这种维度操作比节点操作更可扩展，并对排斥提供更简单的几何解释。我们的理论结果确立了维度正则化作为与 Skip-gram 节点对比相比更有效且更高效的强制节点嵌入不相似性的方法。我们利用这一结果提出了一个灵活的算法增强框架，用于改进任何使用 SGNS 的算法的可扩展性。该框架优先考虑节点吸引并用维度正则化取代 SGNS。我们为 LINE 和 node2vec 实现了这个通用框架，表明增强算法在保持下游链接预测性能的同时，将 GPU 内存使用降低最高可达 33.3%，训练时间缩短 23.4%。此外，我们表明完全移除排斥（本增强框架的特例）在 LINE 中平均缩短训练时间 70.9%，同时提升链接预测性能，尤其是对于在全局稀疏但局部稠密的图。总体而言，排斥是必要的，维度正则化是 SGNS 的有效替代方案。
关键词
引用
@article{arxiv.2405.00172,
title = {Bypassing Skip-Gram Negative Sampling: Dimension Regularization as a More Efficient Alternative for Graph Embeddings},
author = {David Liu and Arjun Seshadri and Tina Eliassi-Rad and Johan Ugander},
journal= {arXiv preprint arXiv:2405.00172},
year = {2025}
}
备注
Published in KDD'25