随机神经网络的分离能力

具有随机权重的神经网络出现在各种机器学习应用中，最突出的是作为许多深度学习算法的初始化以及作为完全学习神经网络的计算廉价替代方案。在本文中，我们通过解决以下数据分离问题来增强对随机神经网络的理论理解：随机神经网络在何种条件下能使两类 $\mathcal{X}^-, \mathcal{X}^+ \subset \mathbb{R}^d$（具有正距离）线性可分？我们证明，一个具有标准高斯权重和均匀分布偏置的足够大的两层 ReLU 网络可以高概率地解决该问题。关键在于，所需神经元的数量明确地关联到底层集合 $\mathcal{X}^-, \mathcal{X}^+$ 的几何性质及其相互排列。这种特定实例的视角使我们能够在数据具有低复杂度结构的非病态情况下克服通常的维数灾难（层宽指数级）。我们根据一种基于高斯平均宽度的局部化版本的新型互复杂性概念来量化数据的相关结构，从而得到合理且信息丰富的分离保证。我们将我们的结果与近似、记忆和泛化相关的研究工作联系起来。