DropMessage：图神经网络随机丢弃方法的统一框架
机器学习
2023-07-04 v3 人工智能
摘要
图神经网络(GNNs)是图表示学习的强大工具。尽管发展迅速，GNNs也面临一些挑战，如过拟合、过平滑和非鲁棒性。先前的研究表明，这些问题可通过随机丢弃方法缓解，该方法通过随机掩码部分输入将增强数据整合进模型。然而，GNNs上随机丢弃的一些开放问题仍有待解决。首先，考虑到不同数据集与模型的差异性，难以找到适用于所有情形的通用方法。其次，引入GNNs的增强数据导致参数覆盖不全与训练过程不稳定。第三，缺乏随机丢弃方法在GNNs上有效性的理论分析。本文提出一种称为DropMessage的新型随机丢弃方法，其在消息传递过程中直接对传播的消息执行丢弃操作。更重要的是，我们发现DropMessage为大多数现有随机丢弃方法提供了统一框架，并基于此给出了它们有效性的理论分析。此外，我们阐明了DropMessage的优越性：它通过减小样本方差稳定训练过程；从信息论角度保持信息多样性，使其成为其他方法在理论上的上界。为评估所提方法，我们在五个公开数据集和两个工业数据集上以多种骨干模型开展了面向多任务的实验。实验结果表明，DropMessage兼具有效性与泛化性优势，并能显著缓解上述问题。
引用
@article{arxiv.2204.10037,
title = {DropMessage: Unifying Random Dropping for Graph Neural Networks},
author = {Taoran Fang and Zhiqing Xiao and Chunping Wang and Jiarong Xu and Xuan Yang and Yang Yang},
journal= {arXiv preprint arXiv:2204.10037},
year = {2023}
}