线性图嵌入中范数正则化的重要性：理论分析与实证展示
机器学习
2018-10-16 v2
摘要
为图中的节点学习分布式表示是网络分析中的关键原语，具有广泛的应用。线性图嵌入方法通过优化正负边的似然并约束嵌入向量的维度来学习此类表示。我们认为这些方法的泛化性能并非如通常所认为的源于维度约束，而是源于嵌入向量的小范数。我们提供了理论与经验证据来支持这一论点：(a) 我们证明这些方法的泛化误差可通过限制向量范数来界定，而与嵌入维度无关；(b) 我们展示线性图嵌入方法的泛化性能与嵌入向量的范数相关，而该范数因 SGD 的早停与梯度消失而较小。我们进行了大量实验来验证我们的分析，并展示了适当的范数正则化在实践中的重要性。
引用
@article{arxiv.1802.03560,
title = {The Importance of Norm Regularization in Linear Graph Embedding: Theoretical Analysis and Empirical Demonstration},
author = {Yihan Gao and Chao Zhang and Jian Peng and Aditya Parameswaran},
journal= {arXiv preprint arXiv:1802.03560},
year = {2018}
}