提取影响差异以缓解图神经网络中的预测波动

性能相近的模型在单个样本的预测上表现出显著分歧，这被称为预测波动（prediction churn）。我们的工作通过考察仅初始化不同、但在预测所用特征上不同的图神经网络模型之间的差异，来探索这一现象。我们提出了一种称为影响差异（Influence Difference, ID）的新度量，通过比较节点的影响分布来量化不同模型所用理由的变化。此外，我们考虑了预测稳定与不稳定节点之间的差异，假设二者同等利用不同理由，从而提供有意义的梯度信号，即使在节点预测相似时也能使两个模型紧密匹配。基于我们的分析，我们提出在知识蒸馏（Knowledge Distillation）中最小化该 ID，该领域要求新模型紧密匹配已建立的模型。作为一种高效近似，我们引入了 DropDistillation（DD），其匹配由边删除扰动的图上的输出。我们在六个节点分类基准数据集上的实证评估验证了所用特征的差异。在所有考虑的知识蒸馏实验中，DD 在预测稳定性和整体性能方面均优于先前的方法。