LEReg：以局部能量正则化增强图神经网络
机器学习
2022-03-22 v1
摘要
由于图具有强大的表达能力，利用图神经网络（GNN）分析图的研究受到越来越多关注。GNN通过每一卷积层沿边传递消息，将邻接矩阵和节点特征映射为节点表示。然而，经GNN传递的消息并非对图中所有部分都有益。具体而言，由于数据分布在图上不同，收集信息所需的感受野（节点可从中获取信息的最远节点）也不同。现有GNN均匀对待图的所有部分，难以为每个独特部分自适应传递最具信息量的消息。为解决此问题，我们提出两个局部考虑消息传递的正则化项：（1）内部能量正则（Intra-Energy Reg）；（2）外部能量正则（Inter-Energy Reg）。通过实验与理论讨论，我们首先表明不同部分的平滑速度差异巨大，且每部分的拓扑影响平滑方式。借助内部能量正则，我们加强各部分内部的消息传递，有利于获取更有用信息。借助外部能量正则，我们提升GNN区分不同节点的能力。借助所提两个正则化项，GNN能自适应过滤最有用信息、更鲁棒地学习并获得更高表达能力。此外，所提LEReg具有即插即用特性，可轻松应用于其他GNN模型。在多个基准上的大量实验验证，带LEReg的GNN优于或匹敌SOTA方法。其有效性和效率也通过精心设计的实验得到经验性可视化。
引用
@article{arxiv.2203.10565,
title = {LEReg: Empower Graph Neural Networks with Local Energy Regularization},
author = {Xiaojun Ma and Hanyue Chen and Guojie Song},
journal= {arXiv preprint arXiv:2203.10565},
year = {2022}
}
备注
Proceedings of the 30th ACM International Conference on Information and Knowledge Management (CIKM '21), November 1--5, 2021, Virtual Event, QLD, Australia. arXiv admin note: text overlap with arXiv:2009.02027 by other authors