借助意见不一致性解决过度平滑问题

尽管图神经网络（Graph Neural Networks, GNNs）使研究者能够成功地将神经网络应用于非欧几里得领域，但深度 GNN 的预测性能往往低于其浅层对应物。这一现象部分归因于过度平滑（oversmoothing），即节点表示随网络深度增加而趋于相似。本文在 GNN 中的过度平滑与意见动力学（opinion dynamics）文献中的共识（即完全一致）之间建立了一种类比关系。我们证明，多种 GNN 模型的消息传递算法等价于线性意见动力学模型，而后者已被证明无论图结构如何都会对所有输入收敛至共识。这一关于过度平滑的新视角启发我们将非线性意见动力学作为 GNN 模型的归纳偏置。在我们所提出的行为启发消息传递（Behavior-Inspired Message Passing, BIMP）GNN 中，我们利用了比线性意见动力学模型更为一般的非线性意见动力学模型，并可将其设计为对一般输入收敛至意见不一致。通过大量实验，我们证明 BIMP 在超过 100 个时间步之后仍能抵抗过度平滑，并且即便与已采用过度平滑缓解技术的现有架构相比，也始终具有更优的性能。我们还证明 BIMP 具有若干理想的特性，包括表现良好的梯度以及对同质性与异质性数据集的适应性。