FlexiDrop: 图神经网络随机丢弃方法的理论洞见与实践进展
机器学习
2024-05-31 v1
摘要
图神经网络(GNN)是处理图类型数据的强大工具。近年来，GNN已广泛应用于各个领域，但也面临一些挑战，如过拟合、过平滑和鲁棒性不足。现有研究表明，随机丢弃方法是解决这些问题的有效途径。然而，GNN中的随机丢弃方法仍存在未解决的问题。目前，丢弃率的选择通常通过启发式或网格搜索方法确定，这可能会增加泛化误差，与丢弃的主要目标相悖。本文提出了一种新的GNN随机丢弃方法，称为FlexiDrop。首先，我们利用Rademacher复杂度对GNN中的丢弃进行理论分析，证明传统随机丢弃方法的泛化误差受一个与丢弃率相关的函数约束。随后，我们将该函数作为正则化项，将丢弃率和经验损失统一到单个损失函数中，并同时优化它们。因此，我们的方法能够自适应调整丢弃率，并在理论上平衡模型复杂度与泛化能力。此外，在基准数据集上的大量实验结果表明，FlexiDrop在GNN中优于传统的随机丢弃方法。
引用
@article{arxiv.2405.20012,
title = {FlexiDrop: Theoretical Insights and Practical Advances in Random Dropout Method on GNNs},
author = {Zhiheng Zhou and Sihao Liu and Weichen Zhao},
journal= {arXiv preprint arXiv:2405.20012},
year = {2024}
}