图卷积网络线性区域数量的下界与上界
机器学习
2022-06-02 v1 人工智能
机器学习
摘要
随着图神经网络在过去五年中成为冠军方法，刻画 GNN 表达能力的研受到大量关注。线性区域的数量一直被视为具有分段线性激活的神经网络的表达性的良好度量。在本文中，我们给出经典图卷积网络（GCNs）在单层和多层情形下线区域数量的若干估计。特别地，我们得到了单层 GCN 线性区域最大数量的最优上界，以及多层 GCN 的上界和下界。模拟估计表明，真实的线性区域最大数量可能更接近我们估计的下界。这些结果意味着，一般而言，多层 GCN 每个参数的线性区域数量指数级地多于单层 GCN。这表明更深的 GCN 比浅层 GCN 具有更强的表达能力。
引用
@article{arxiv.2206.00228,
title = {Lower and Upper Bounds for Numbers of Linear Regions of Graph Convolutional Networks},
author = {Hao Chen and Yu Guang Wang and Huan Xiong},
journal= {arXiv preprint arXiv:2206.00228},
year = {2022}
}