两层隐藏层神经网络的鲁棒且资源高效的辨识

我们解决了从少量查询样本中对 $\mathbb R^d$ 上类型为 $f(x)=1^T h(B^T g(A^T x))$ 的两个完全非线性层神经网络进行结构辨识和一致逼近的问题。我们通过主动采样网络 Hessian 矩阵的有限差分近似来处理该问题。收集若干近似 Hessian 矩阵可可靠地逼近由第一层权重构成的对称张量 $a_1 \otimes a_1 ,\dots,a_{m_0}\otimes a_{m_0}$ 以及由第一层和第二层权重合适组合构成的纠缠对称张量 $v_1 \otimes v_1 ,\dots,v_{m_1}\otimes v_{m_1}$ 所张成的矩阵子空间 $\mathcal W$，其中 $v_\ell=A G_0 b_\ell/\|A G_0 b_\ell\|_2$，$\ell \in [m_1]$，$G_0$ 为依赖于第一层激活函数的对角矩阵。然后通过求解一个鲁棒非线性规划来辨识 $\mathcal W$ 内的 1-秩对称张量。我们在后验可验证条件下提供稳定恢复保证。我们进一步处理将近似权重正确归属到第一层或第二层的问题。通过使用适当调整的梯度下降迭代，可以估计（直至内在对称性）第一层激活函数的偏移，并精确计算矩阵 $G_0$。我们这种网络权重辨识方法完全具构造性，具有可量化的样本复杂度，从而有助于削弱网络训练阶段的黑箱性质。我们通过大量数值实验证实了我们的理论结果。