稀疏约束下深度结构化线性网络的稳定恢复

我们考虑稀疏约束下的深度结构化线性网络。我们研究了保证定义网络的最优参数稳定性的精确条件。更准确地说，我们提供了关于网络架构和样本的精确条件，在这些条件下，定义网络的参数误差与重构误差（即风险）成线性比例。因此，在这些条件下，通过成功算法获得的权重是明确定义的，并且仅依赖于网络的架构和样本。潜在空间中的特征是稳定定义的。稳定性特性是解释潜在空间中定义的特征所必需的。它也可以导致对统计风险的保证。这正是推动本研究的动机。分析基于最近提出的张量提升方法。本文的特殊之处在于考虑了稀疏先验。这导致了更好的稳定性常数。作为例证，我们详细分析了稀疏先验下的卷积线性网络，并提供了精确的稳定性保证。在此分析中，我们区分了网络架构和样本输入的作用。这突出了数据在参数稳定性方面的要求。