面向可扩展图学习的节点依赖局部平滑
机器学习
2021-10-28 v1
摘要
近期的研究揭示，特征或标签平滑位于图神经网络（GNNs）的核心。具体而言，他们表明特征平滑结合简单线性回归可达到与精心设计的 GNNs 相当的性能，且带有预测标签平滑的简单 MLP 模型可以优于原始 GCN。尽管这是一个有趣的发现，平滑尚未被充分理解，尤其是关于如何控制平滑程度。直观上，过小或过大的平滑迭代可能导致欠平滑或过平滑，并造成次优性能。此外，平滑程度是节点特定的，取决于其度和局部结构。为此，我们提出了一种称为节点依赖局部平滑（NDLS）的新算法，旨在通过设置节点特定的平滑迭代次数来控制每个节点的平滑程度。具体地，NDLS 基于邻接矩阵计算影响分数，并通过在分数上设定阈值来选择迭代次数。一旦选定，该迭代次数可同时应用于特征平滑和标签平滑。实验结果表明，NDLS 具有高准确性——在节点分类任务上达到最先进（SOTA）性能、灵活性——可融入任意模型、可扩展性与高效性——能以快速训练支持大规模图。
引用
@article{arxiv.2110.14377,
title = {Node Dependent Local Smoothing for Scalable Graph Learning},
author = {Wentao Zhang and Mingyu Yang and Zeang Sheng and Yang Li and Wen Ouyang and Yangyu Tao and Zhi Yang and Bin Cui},
journal= {arXiv preprint arXiv:2110.14377},
year = {2021}
}
备注
19 pages, 5 figures