图神经网络的最大熵加权独立集池化
机器学习
2021-07-06 v1 人工智能
信息论
神经与进化计算
math.IT
摘要
本文提出一种基于最大化池化图与输入图之间互信息的图神经网络新颖池化层。由于最大互信息难以计算,我们采用图的 Shannon 容量作为池化方法的归纳偏置。更确切地说,我们表明池化层的输入图可视为一个有噪通信信道的表示。对于此类信道,发送属于图之独立集的符号可实现可靠且无错的信息传输。我们证明达到最大互信息等价于寻找图的最大权重独立集,其中权重传达熵内容。通过这一通信理论视角,我们为图池化问题提供了独特视角:将其表述为通过图神经网络实现跨有噪通信信道的最大信息传输率。我们将所提方法称为最大熵加权独立集池化(MEWISPool),并在图分类任务与最大独立集组合优化问题上进行评估。实证结果表明,我们的方法在多个基准数据集的图分类任务与最大独立集问题上取得了最先进且具有竞争力的结果。
引用
@article{arxiv.2107.01410,
title = {Maximum Entropy Weighted Independent Set Pooling for Graph Neural Networks},
author = {Amirhossein Nouranizadeh and Mohammadjavad Matinkia and Mohammad Rahmati and Reza Safabakhsh},
journal= {arXiv preprint arXiv:2107.01410},
year = {2021}
}
备注
21 pages, 12 figures, under review in 35th Conference on Neural Information Processing Systems (NeurIPS 2021)