如何宽又如何深？基于信道容量约束估计的图神经网络过度压扁问题缓解

现有的图神经网络通常依赖于隐藏维度和传播深度的经验选择，常导致传播过程中严重的信息损失，称为过度压扁。为解决此问题，我们提出了信道容量约束估计（Channel Capacity Constrained Estimation, C3E），这是一种新型框架，将隐藏维度和深度的选择形式化为基于信息论的非线性规划问题。通过将谱图神经网络建模为通信信道，该方法直接将信道容量与隐藏维度、传播深度、传播机制和图结构关联。大量实验在九个公开数据集上表明，由C3E估计得到的隐藏维度和深度可缓解过度压扁问题，持续改善表示学习。实验结果表明，过度压扁是由于表示矩阵中信息的累积压缩所致。进一步地，我们发现增加隐藏维度确实可以缓解信息压缩，而传播深度的作用更为细微，揭示了信息压缩与表示复杂度之间存在的根本性平衡。