关于图神经网络过平滑的一份注记
机器学习
2020-06-25 v1 机器学习
摘要
图神经网络（GNNs）在图结构数据上取得了诸多成功。然而，观察到图神经网络的性能并不随层数增加而提升。这一被称为过平滑的效应主要在线性情形中被分析。在本文中，我们基于先前结果 \cite{oono2019graph} 进一步分析通用图神经网络架构中的过平滑效应。我们表明当权重矩阵满足由增广归一化拉普拉斯算符谱所确定的条件时，嵌入的 Dirichlet 能量将收敛到零，导致判别力的丧失。使用 Dirichlet 能量衡量嵌入的“表达能力”在概念上清晰；它比 \cite{oono2019graph} 引出更简洁的证明，并能处理更多非线性。
引用
@article{arxiv.2006.13318,
title = {A Note on Over-Smoothing for Graph Neural Networks},
author = {Chen Cai and Yusu Wang},
journal= {arXiv preprint arXiv:2006.13318},
year = {2020}
}
备注
Appeared at ICML 2020 Graph Representation Learning workshop. https://grlplus.github.io/cfp/