将图神经网络从繁重调参中解放出来
机器学习
2024-05-22 v1
摘要
图神经网络（GNN）是为图类型数据设计的深度学习架构，其中理解各个观测值之间的关系至关重要。然而，要获得优异的 GNN 性能，尤其是在未见数据上，需要进行全面的超参数调优和细致的训练。遗憾的是，这些过程伴随着高昂的计算成本和大量的人力投入。此外，传统的搜索算法（如网格搜索）可能会导致在验证数据上过拟合，从而降低泛化精度。为了应对这些挑战，我们提出了一种图条件潜在扩散框架（GNN-Diff），通过从轻量级调参的粗粒度搜索中保存的检查点进行学习，直接生成高性能的 GNN。我们的方法：(1) 将 GNN 训练从繁重调参和复杂的搜索空间设计中解放出来；(2) 生成的 GNN 参数优于通过全面网格搜索获得的参数；(3) 与为通用神经网络设计的扩散框架相比，为 GNN 建立了更高质量的生成。
引用
@article{arxiv.2405.12521,
title = {Unleash Graph Neural Networks from Heavy Tuning},
author = {Lequan Lin and Dai Shi and Andi Han and Zhiyong Wang and Junbin Gao},
journal= {arXiv preprint arXiv:2405.12521},
year = {2024}
}