划分至关重要:用于提升 GNN 性能的平坦极小值方法
机器学习
2023-09-06 v1
摘要
在训练神经网络时,利用可用的训练数据对其进行优化,期望其对新的或未见过的测试数据具有良好的泛化能力。在绝对数值相同的情况下,损失景观中的平坦极小值被认为比尖锐极小值泛化得更好。确定平坦极小值的方法主要针对图像等独立同分布(i. i. d.)数据进行了研究。图由于顶点由边连接而天然是非独立同分布的。我们研究了用于训练图神经网络(GNN)的平坦极小值方法及其组合。我们使用 GCN 和 GAT,并将 Graph-MLP 扩展至支持更多层和更大图。我们在小型和大型引文、共同购买以及蛋白质数据集上,于转导式和归纳式训练过程中采用不同的训练-测试划分进行了实验。结果表明,若训练-测试划分为随机化,平坦极小值方法可将 GNN 模型的性能提升超过 2 个百分点。遵循 Shchur 等人的工作,随机化划分对于 GNN 的公平评估至关重要,因为其他(固定)划分如“Planetoid”存在偏差。总体而言,我们为在 GNN 上改进并公平评估平坦极小值方法提供了重要见解。我们建议实践者始终使用权重平均技术,特别是在使用早停时采用 EWA。尽管权重平均技术并非总是性能最佳的方法,但它们对超参数较不敏感,无需额外训练,且保持原始模型不变。所有源代码见 https://github.com/Foisunt/FMMs-in-GNNs。
引用
@article{arxiv.2306.09121,
title = {The Split Matters: Flat Minima Methods for Improving the Performance of GNNs},
author = {Nicolas Lell and Ansgar Scherp},
journal= {arXiv preprint arXiv:2306.09121},
year = {2023}
}