DIVE：用于图结构离散分布 generalization 的子图不一致性

本文针对图结构机器学习中面临的离散分布(generalization)挑战进行了研究，该领域正在快速发展，但仍面临源数据分布与目标数据分布之间的差异问题。传统图学习算法基于训练数据与测试数据分布均匀假设，在现实场景下该假设常常失败，导致性能不佳。导致此类性能不佳的主要因素之一是基于随机梯度下降(SGD)训练的神经网络固有的简单偏置，这些网络倾向于优先学习简单特征而非更复杂但同样或更具预测性的特征。这种偏置导致模型依赖于伪关联，在图像识别、自然语言理解和图分类等各种任务中都会 adversely 影响离散分布性能。现有方法，包括子图混合和信息瓶颈方法，已取得部分成功，但难以克服简单偏置，往往强化伪关联。为此，我们提出DIVE方法，通过鼓励模型在子图掩码上实现互不相同，来聚焦于所有具有标签预测性的子图，从而规避仅关注简单结构模式相关子图的局限。具体而言，我们采用正则化器惩罚跨模型提取子图的重叠，从而鼓励不同模型集中注意力于不同的结构模式。通过验证准确率实现对鲁棒离散分布性能的模型选择。在四个来自GOOD基准数据集和一个来自DrugOOD基准数据集的测试中，我们的方法在现有方法上显著改进，有效解决了简单偏置问题，提升了图结构机器学习中的 generalization 能力。