浅层神经网络的有限样本

本文考察了有限样本用于识别具有各种非线性激活函数（包括整流线性单元 (ReLU) 和解析函数如逻辑 sigmoid 和双曲正切）的两层不可约浅层网络的能力。所谓不可约网络是指其函数不能由具有更少神经元的其他网络表示的网络。对于ReLU激活函数，我们首先建立了确定网络不可约性的必要充分条件。随后，我们证明了一个负结果：有限样本不足以确定任何不可约ReLU浅层网络。然而，我们证明对于给定的不可约网络，可以构建一组有限采样点来区分其与其他具有相同神经元数量的网络。相反，对于逻辑sigmoid和双曲正切激活函数，我们提供了正结果。我们构建了有限样本，使能够恢复两层不可约浅层解析网络。这是首次针对有限样本函数值来研究两层不可约网络的精确识别。我们的发现提供了在有限采样条件下不同激活函数网络之间性能比较的见解。