通过拆分计算图防止消息传递神经网络中的表征秩坍缩
机器学习
2024-12-10 v2
摘要
消息传递神经网络(MPNNs)在图数据上拟合复杂函数的能力是有限的,因为大多数图卷积会放大所有特征通道上的相同信号,这种现象被称为秩坍缩,而过平滑是其特例。大多数缓解过平滑的方法通过利用残差连接、门控机制、归一化或正则化技术来扩展常见的消息传递方案,例如图卷积网络。相反,我们的工作提出通过修改消息传递方案并使用多关系图交换不同类型的消息来直接解决此问题的根源。我们确定了确保节点表征线性无关的充分条件。作为一个实例,我们证明在多个有向无环图上操作始终满足我们的条件,并建议通过定义节点的严格偏序来获得这些图。我们进行了全面的实验,证实了在多关系图上操作以获得信息更丰富的节点表征的好处。
引用
@article{arxiv.2409.11504,
title = {Preventing Representational Rank Collapse in MPNNs by Splitting the Computational Graph},
author = {Andreas Roth and Franka Bause and Nils M. Kriege and Thomas Liebig},
journal= {arXiv preprint arXiv:2409.11504},
year = {2024}
}
备注
Published at LoG 2024