通过混合散射网络克服图卷积网络中的过平滑问题
机器学习
2024-10-28 v2 机器学习
摘要
几何深度学习在将结构感知神经网络的设计从传统域推广到非欧几里得域方面取得了重大进展，由此产生了可应用于社交网络、生物化学和材料科学中图结构数据的图神经网络（GNN）。尤其是图卷积网络（GCNs）受其在欧几里得域对应模型的启发，已通过提取结构感知特征成功处理图数据。然而，当前的 GNN 模型常受限于各种现象，这些现象限制了其表达能力及泛化到更复杂图数据集的能力。大多数模型本质上依赖于通过局部平均操作对图信号进行低通滤波，导致过平滑。此外，为避免严重的过平滑，大多数流行的 GCN 风格网络往往较浅且感受野狭窄，导致欠可达。在此，我们提出一种混合 GNN 框架，将传统 GCN 滤波器与通过几何散射定义的带通滤波器相结合。我们进一步引入一种注意力框架，使模型能够在节点级别对来自不同滤波器的组合信息进行局部关注。我们的理论结果确立了散射滤波器利用图结构信息的互补优势，而实验展示了我们的方法在各种学习任务上的益处。
引用
@article{arxiv.2201.08932,
title = {Overcoming Oversmoothness in Graph Convolutional Networks via Hybrid Scattering Networks},
author = {Frederik Wenkel and Yimeng Min and Matthew Hirn and Michael Perlmutter and Guy Wolf},
journal= {arXiv preprint arXiv:2201.08932},
year = {2024}
}
备注
This work has been submitted to the IEEE for possible publication