通过划分梯度贡献实现高效的少样本图神经架构搜索
机器学习
2025-06-23 v2 人工智能
摘要
为了解决权重耦合问题，某些研究引入了少样本神经架构搜索（NAS）方法，将超网划分为多个子超网。然而，这些方法通常存在计算效率低下的问题，并且往往提供次优的划分方案。为了更有效地解决这个问题，我们从一个新颖的视角分析了权重耦合问题，该问题主要源于后续层中的不同模块对前一层模块施加了冲突的梯度方向。基于这一视角，我们提出了梯度贡献（GC）方法，该方法通过在超网反向传播期间分解向量-雅可比积来高效计算模块间梯度方向的余弦相似度。随后，将具有冲突梯度方向的模块分配到不同的子超网，而梯度方向相似的模块则被分组在一起。为了评估 GC 的优势并解决现有图神经架构搜索方法的局限性（即仅限于搜索单一类型的图神经网络：消息传递神经网络（MPNN）或图 Transformer（GT）），我们提出了统一图神经架构搜索（UGAS）框架，该框架探索 MPNN 和 GT 的最优组合。实验结果表明，GC 在超网划分质量和时间效率上均达到了最先进的性能。此外，由 UGAS+GC 搜索出的架构优于人工设计的 GNN 以及现有 NAS 方法获得的架构。最后，消融研究进一步证明了所有提出方法的有效性。
引用
@article{arxiv.2506.01231,
title = {Towards Efficient Few-shot Graph Neural Architecture Search via Partitioning Gradient Contribution},
author = {Wenhao Song and Xuan Wu and Bo Yang and You Zhou and Yubin Xiao and Yanchun Liang and Hongwei Ge and Heow Pueh Lee and Chunguo Wu},
journal= {arXiv preprint arXiv:2506.01231},
year = {2025}
}
备注
Accepted by SIGKDD 2025