Dropout对长程图学习任务性能的影响

消息传递神经网络（MPNN）是一类图神经网络（GNN），通过局部邻域传递信息来传播图中的信息。该方案导致两个关键挑战：过平滑和过压扁。虽然已有若干Dropout风格算法如DropEdge和DropMessage成功解决了过平滑问题，但它们对过压扁的影响仍鲜有探讨。这在实际中构成关键空白，因为若未能缓解过压扁，这些方法将不适用于深度MPNN的长程任务。本文我们研究上述算法以及相关边删除算法——DropNode、DropAgg和DropGNN——在过压扁中的表现。我们提出理论结果表明，DropEdge变体会降低远距离节点之间的敏感性，限制其在长程任务中的适用性。为此，我们引入DropSens，一种基于敏感性的DropEdge变体，显式控制因边删除导致的信息损失比例，从而在删除相同数量边的同时提高对远距离节点的敏感性。我们在长程合成数据集和真实数据集上的实验确认了现有边删除和特征删除方法的预期局限性。此外，DropSens consistently优于专为缓解过压扁而设计的图重构技术，表明简单有针对性的修改可显著提高模型捕获长程相互作用的能力。我们的结论强调需要重新评估和重新设计深度GNN训练的现有方法，关注建模长程相互作用。