图神经网络损失函数评估：通向预训练与泛化
机器学习
2025-06-18 v1
摘要
图神经网络 (GNN) 因其在非欧几里得数据上的学习能力而广为人用。然而，其最佳性能取决于选择合适的模型架构和训练目标，即损失函数。研究人员已分别研究了这两个方面，但尚无大规模评估探讨 GNN 模型与多种损失函数在不同任务中的协同工作方式。为此，我们进行了一次彻底的研究——包括七种著名的 GNN 架构，以及 30 种单一损失函数和混合损失函数的大型组合。该研究覆盖了归纳和迁移两个设置。我们的评估涉及三个真实世界数据集，评估指标包括 21 项综合性指标。基于这些广泛结果（详见补充材料 1&2），我们细致分析了每个指标中前十名模型-损失函数组合的平均排名。我们的发现表明，尤其是在归纳情况中：1) 混合损失函数通常比单一损失函数表现更好且更稳健，表明多目标优化的益处；2) GIN 架构始终展现最高的平均性能，尤其在交叉熵损失下效果最佳；3) 虽然某些组合整体平均排名较低，但如 GAT 等模型，尤其在特定混合损失下，展现出惊人的专门能力，能够最大化最高排名结果，凸显针对特定任务需求的细微优势；4) 相比之下，MPNN 架构通常在所测试的情景中落后于其他模型。
引用
@article{arxiv.2506.14114,
title = {Evaluating Loss Functions for Graph Neural Networks: Towards Pretraining and Generalization},
author = {Khushnood Abbas and Ruizhe Hou and Zhou Wengang and Dong Shi and Niu Ling and Satyaki Nan and Alireza Abbasi},
journal= {arXiv preprint arXiv:2506.14114},
year = {2025}
}
备注
ACM single column 633 pages