通过 LASSO 正则化实现两层 ReLU 神经网络的可证明可辨识性

LASSO 正则化是一种流行的回归工具，通过 $\ell_1$ 惩罚执行变量选择来增强统计模型的预测精度，最初为线性模型及其变体而提出。在本文中，LASSO 的适用范围被扩展到两层 ReLU 神经网络，这是一种流行且强大的非线性回归模型。具体而言，给定一个输出 $y$ 仅依赖于输入 $\boldsymbol{x}$ 的一个小子集（记为 $\mathcal{S}^{\star}$）的神经网络，我们证明当样本数量随输入维度对数缩放时，LASSO 估计器可以稳定地重建该神经网络并辨识 $\mathcal{S}^{\star}$。这一具有挑战性的区间对线性模型已被充分理解，而对神经网络则几乎未被研究。我们的理论基于一种针对两层 ReLU 神经网络的扩展受限等距性质（RIP）分析框架，该框架对其他的 LASSO 或神经网络设置可能具有独立意义。基于该结果，我们提倡一种基于神经网络的变量选择方法。在模拟和真实世界数据集上的实验表明，与现有技术相比，该变量选择方法具有良好性能。