通过流形拓扑探讨神经网络表达能力的理论研究
机器学习
2024-10-30 v2
摘要
关于真实数据位于或接近低维流形的普遍假设是合理的。在数据流形上部署神经网络时，所需的规模，即网络的神经元数量，严重取决于底层潜在流形的复杂性。尽管已对流形的几何属性取得了重要进展，但必须认识到，拓扑本身也是流形的基本特征。在本研究中，我们以潜在数据流形为基础，探讨了网络的表达能力。我们将数据流形的拓扑和几何两个层面相结合，提出了ReLU神经网络的一个规模上界。
引用
@article{arxiv.2410.16542,
title = {A Theoretical Study of Neural Network Expressive Power via Manifold Topology},
author = {Jiachen Yao and Mayank Goswami and Chao Chen},
journal= {arXiv preprint arXiv:2410.16542},
year = {2024}
}