OrthoReg：通过正交正则化改进图正则化多层感知机
机器学习
2023-02-02 v1
摘要
图神经网络（GNNs）目前在建模图结构数据方面占据主导地位，而其对图结构用于推理的高度依赖显著阻碍了它们的广泛应用。相比之下，图正则化多层感知机（GR-MLPs）将图结构信息隐式注入模型权重，但其性能在大多数任务中难以匹敌 GNNs。这促使我们研究 GR-MLPs 性能受限的原因。在本文中，我们通过经验观察和理论分析首先证明，从常规 GR-MLPs 学到的节点嵌入遭受维度崩溃，即少数最大特征值主导嵌入空间的现象。结果，所学节点表示的表达能力受限。我们进一步提出 OrthoReg，一种新颖的 GR-MLP 模型以缓解维度崩溃问题。通过对节点嵌入相关矩阵的软正则化损失，OrthoReg 显式鼓励正交节点表示，从而自然避免维度崩溃的表示。在传统直推式半监督分类任务以及冷启动场景的归纳式节点分类上的实验证明了其有效性与优越性。
引用
@article{arxiv.2302.00109,
title = {OrthoReg: Improving Graph-regularized MLPs via Orthogonality Regularization},
author = {Hengrui Zhang and Shen Wang and Vassilis N. Ioannidis and Soji Adeshina and Jiani Zhang and Xiao Qin and Christos Faloutsos and Da Zheng and George Karypis and Philip S. Yu},
journal= {arXiv preprint arXiv:2302.00109},
year = {2023}
}