用于大规模图训练正则化的自适应标签平滑
机器学习
2021-09-01 v1 人工智能
摘要
图神经网络（GNNs）通过递归聚合来自邻居的信息来学习节点表示，已成为许多领域中的主要计算工具。为处理大规模图，现有方法大多将输入图划分为多个子图（例如通过节点聚类）并采用批量训练以节省内存开销。然而，这种批量训练会导致每个批次内的标签偏置，进而造成模型预测的过度自信。由于具有正相关标签的相连节点倾向于被分配到一起，传统的交叉熵最小化过程会关注批次中偏置类的预测，并可能加剧过拟合问题。为克服标签偏置问题，我们提出自适应标签平滑（ALS）方法，用平滑标签替代独热硬标签，该方法学习将标签置信度从偏置类分配给其他类。具体而言，ALS 在预处理步骤中传播节点标签以聚合邻域标签分布，然后在线更新最优平滑标签以适应特定图结构。在真实世界数据集上的实验表明，ALS 可普遍应用于主流可扩展学习框架，以校准偏置标签并提升泛化性能。
引用
@article{arxiv.2108.13555,
title = {Adaptive Label Smoothing To Regularize Large-Scale Graph Training},
author = {Kaixiong Zhou and Ninghao Liu and Fan Yang and Zirui Liu and Rui Chen and Li Li and Soo-Hyun Choi and Xia Hu},
journal= {arXiv preprint arXiv:2108.13555},
year = {2021}
}