纠缠权重的稳定恢复：从最少样本鲁棒辨识深度神经网络

在本文中，我们研究具有金字塔形结构和光滑激活函数的通用深度人工神经网络从有限数量输入输出样本中唯一且稳定可辨识的问题。更具体地，我们引入了所谓的纠缠权重，其由连续层的权重与依赖于激活函数及其偏移的合适对角可逆矩阵交织组成。我们证明，一旦收集到网络的 $\mathcal O(D^2 \times m)$ 个非自适应输入输出样本（其中 $D$ 为输入维度，$m$ 为网络神经元数量），纠缠权重就能被一个高效且鲁棒的算法完全且稳定地逼近。此外，我们通过经验观察到该方法适用于具有多达 $\mathcal O(D \times m_L)$ 个神经元的网络，其中 $m_L$ 为第 $L$ 层的输出神经元数。在已知纠缠权重的层分配以及其余缩放和偏移参数（可进一步通过最小二乘启发式获得）的前提下，纠缠权重可完全且唯一地辨识网络。为凸显纠缠权重稳定恢复理论结果的意义，我们给出了数值实验，表明具有通用权重的多层网络可被鲁棒辨识，并因此被所提算法流程一致逼近。相比之下，反向传播在此设定下不能很好地稳定泛化，始终受限于较大的统一误差。在实际影响方面，我们的研究表明我们能将输入输出信息唯一且稳定地关联到网络参数，提供了一种可解释性形式。此外，我们的方法为过参数化网络的压缩和最小复杂度网络的训练铺平了道路。