快速图形锋利感知最小化用于提升与加速少样本节点分类
机器学习
2024-10-23 v1 人工智能
摘要
图神经网络（GNN）在节点分类任务中表现优异。然而，GNN 在需要对不可见类别进行准确预测且标签有限的少样本节点分类（FSNC）任务中表现不佳。为解决此挑战，本文提出将锋利感知最小化（SAM）——一种旨在通过寻找损失景观的平坦最小值以增强模型泛化能力的技术——集成到 GNN 训练中。标准 SAM 方法在每个训练迭代中包含两个前向-反向步骤，计算成本是基础优化器（如 Adam）的两倍。为缓解此缺点，本文引入一种新型算法，即快速图形锋利感知最小化（FGSAM），其集成了多层感知器（MLP）的快速训练与 GNN 的卓越性能。具体做法是对 GNN 进行参数扰动，同时利用 MLP 最小化扰动损失，以更高效地找到具有良好泛化的平坦最小值。此外，本方法在扰动阶段复用梯度，以几乎零额外计算成本将图结构纳入最小化过程。为进一步提升训练效率，本文开发了 FGSAM+，其定期执行精确扰动。广泛实验表明，所提出的算法在 FSNC 任务中优于标准 SAM，计算成本更低。特别是，FGSAM+ 作为 SAM 变体，在大多数情况下相对于基础优化器具有更快的优化速度。除 FSNC 外，所提出的方法在异构图的标准节点分类任务中也表现出竞争性能，凸显其广泛适用性。代码可在 https://github.com/draym28/FGSAM_NeurIPS24 获取。
引用
@article{arxiv.2410.16845,
title = {Fast Graph Sharpness-Aware Minimization for Enhancing and Accelerating Few-Shot Node Classification},
author = {Yihong Luo and Yuhan Chen and Siya Qiu and Yiwei Wang and Chen Zhang and Yan Zhou and Xiaochun Cao and Jing Tang},
journal= {arXiv preprint arXiv:2410.16845},
year = {2024}
}
备注
NeurIPS24; The first two authors contributed equally to this work