树状神经网络的存储容量对激活函数的依赖性
无序系统与神经网络
2021-02-24 v3 机器学习
机器学习
摘要
人工神经网络的表现力关键取决于其激活函数的非线性。尽管已提出多种用于人工神经网络的非线性激活函数，但对其在决定网络表现力中作用的细致理解尚未形成。此处，我们研究激活函数如何影响树状两层网络的存储容量。我们将无限宽度极限下容量的有界性或发散性与激活函数的光滑性相联系，阐明了先前研究的若干特例间的关系。我们的结果表明，非线性既可增加容量，也可降低分类的鲁棒性，并为具有若干常用激活函数的网络容量提供了简单估计。此外，它们对分支神经元中树突棘的功能益处生成了一个假设。
引用
@article{arxiv.2007.11136,
title = {Activation function dependence of the storage capacity of treelike neural networks},
author = {Jacob A. Zavatone-Veth and Cengiz Pehlevan},
journal= {arXiv preprint arXiv:2007.11136},
year = {2021}
}
备注
5+23 pages, 2+4 figures. v3: accepted for publication as a Letter in Physical Review E