以最少样本对浅层神经网络进行鲁棒且资源高效的辨识

我们研究从少量查询样本出发，对${\mathbb R}^d$上岭函数之和$f(x)=\sum_{i=1}^m g_i(a_i\cdot x)$（代表浅层前馈神经网络的一般形式）进行结构辨识与一致逼近。如我们在构造性逼近中所用，对岭函数之和或其复合（如更深神经网络中）的高阶微分，建立了神经网络权值辨识与张量积分解辨识之间的自然联系。在最浅前馈神经网络情形，如本文所证，二阶微分与二阶张量（即矩阵）已足够。我们采用两种采样方案执行近似微分——主动采样，其中采样点普适、主动且随机设计；以及被动采样，其中采样点预先从具已知密度的分布中随机选取。基于多次收集的近似一阶与二阶微分，我们将总体逼近策略发展为执行各子任务的一系列算法。我们首先通过逼近权向量$a_1,\dots,a_m$的张成空间来进行主动子空间搜索。随后我们使用直接代换，将问题维数由$d$降至$m$。该构造的核心则是以秩-$1$矩阵$a_i \otimes a_i$表示的权值的稳定且高效逼近，通过将各权值的辨识表述为合适的非线性规划来实现。我们证明了该规划能成功辨识彼此接近正交的权向量，并说明如何通过白化过程在无任何一般性损失下构造性地化归至该情形。