图卷积神经网络中的传递熵
机器学习
2024-06-12 v1 信息论
math.IT
摘要
图卷积网络（GCN）是图神经网络，其中卷积在图上应用。与卷积神经网络不同，GCN 被设计用于对图进行推理，其中节点数可以变化，节点是无序的。在本研究中，我们针对 GCN 的两个重要挑战：i) 过度平滑化；ii) 利用节点关系属性（即异质性和同质性）的问题。过度平滑化是由于重复聚合导致节点判别能力降低的结果。异质性是指不同类别节点连接的倾向，而同质性是指相似节点连接的倾向。我们提出了一种新的策略来解决 GCN 中的这些挑战，基于传递熵（TE），该方法衡量两个随时间变化节点之间有向信息传递的量。我们的发现表明，使用节点异质性和度信息作为节点选择机制，结合基于特征的 TE 计算，可在各种 GCN 模型中提高准确率。我们的模型可以轻松修改以提高 GCN 模型的分类准确率。作为权衡，这一性能提升在计算开销较大时尤其体现——即当为许多图节点计算 TE 时。
引用
@article{arxiv.2406.06632,
title = {Transfer Entropy in Graph Convolutional Neural Networks},
author = {Adrian Moldovan and Angel Caţaron and Răzvan Andonie},
journal= {arXiv preprint arXiv:2406.06632},
year = {2024}
}
备注
28 International Conference Information Visualisation