一类 sigmoid 型非线性的神经网络可辨识性
组合数学
2020-09-03 v3 人工智能
信息论
复变函数
math.IT
机器学习
摘要
本文探讨如下神经网络可辨识性问题：由前馈神经网络针对给定非线性实现的输入输出映射是否唯一确定网络结构、权重与偏置？该主题已有文献（Sussman 1992，Albertini、Sontag 等 1993，Fefferman 1994）表明答案应为肯定，至多相差由该非线性引起的某些对称性，且所考虑网络需满足特定“一般性条件”。Sussman 1992 与 Albertini、Sontag 等 1993 的结果适用于单隐藏层网络，而 Fefferman 1994 中网络需为全连接。为在更一般意义下回答可辨识性问题，我们推导了具有任意深度与连接性且带任意非线性的神经网络可辨识所必需的泛型条件。此外，我们构造了一类非线性，其泛型条件为极小，即既必要又充分。该类足够大，可在一致范数下以任意精度逼近许多常见非线性。
引用
@article{arxiv.1906.06994,
title = {Neural network identifiability for a family of sigmoidal nonlinearities},
author = {Verner Vlačić and Helmut Bölcskei},
journal= {arXiv preprint arXiv:1906.06994},
year = {2020}
}
备注
43 pages, 11 figures