依赖于数据拓扑的神经网络宽度上界
机器学习
2023-05-29 v1 人工智能
机器学习
摘要
本文研究了深度神经网络通用逼近性质与数据集拓扑特征之间的关系。我们的主要贡献是引入依赖于数据拓扑的网络宽度上界。具体而言，我们首先证明，一个采用 ReLU 激活函数与最大池化的三层神经网络可被设计用来逼近紧集上的指示函数，该紧集被一个紧凸多胞形所包围。随后将此推广到单纯复形，基于其拓扑结构推导宽度上界。进一步，我们依据若干拓扑空间的 Betti 数计算上界。最后，我们利用该拓扑方法证明了三层 ReLU 网络的通用逼近性质。我们还验证了梯度下降收敛到我们所提的网络结构。
引用
@article{arxiv.2305.16375,
title = {Data Topology-Dependent Upper Bounds of Neural Network Widths},
author = {Sangmin Lee and Jong Chul Ye},
journal= {arXiv preprint arXiv:2305.16375},
year = {2023}
}