$\ell_2$正则化网络嵌入的渐近性质

Andrew Davison

$\ell_2$正则化网络嵌入的渐近性质

机器学习 2022-12-20 v3 机器学习统计理论统计理论

作者: Andrew Davison

摘要

解决大型网络（如节点分类或链接预测）上预测任务的常见方法，是先学习网络节点的欧氏嵌入，再应用传统机器学习方法。这包括DeepWalk与node2vec等方法，其通过在每次随机梯度下降迭代中对图子采样形成随机损失来学习嵌入。本文研究在此类方法的训练损失中加入嵌入向量的 $\ell_2$ 惩罚的影响。我们证明，在图的某些可交换性假设下，这渐近地导致学习一个具有核范数型惩罚的graphon，并给出所学嵌入向量渐近分布的保证。特别地，惩罚的确切形式取决于作为随机梯度下降一部分所采用的子采样方法的选择。我们还通过实证说明，将节点协变量拼接至 $\ell_2$ 正则化的node2vec嵌入，可获得与以非线性方式融合节点协变量与网络结构的方法相当（乃至更优）的性能。

关键词

网络嵌入 l2正则化 graphon 随机梯度下降 node2vec deepwalk 渐近分布

引用

@article{arxiv.2201.01689,
  title  = {Asymptotics of $\ell_2$ Regularized Network Embeddings},
  author = {Andrew Davison},
  journal= {arXiv preprint arXiv:2201.01689},
  year   = {2022}
}

备注

Accepted in Neural Information Processing Systems 2022. 44 pages, 2 figures, 2 tables

$\ell_2$正则化网络嵌入的渐近性质

摘要

关键词

引用

备注

相关论文