多项式过参数化卷积神经网络包含结构化强中奖彩票

强彩票假设（SLTH）指出，随机初始化的神经网络很可能包含无需任何训练即可表现良好的子网络。尽管非结构化剪枝在此背景下已被广泛研究，其结构化对应方法能带来显著的计算与内存效率提升，却基本未被探索。造成这一差距的主要原因之一是用于 SLTH 形式化分析的基础数学工具的局限。在本文中，我们克服了这些局限：我们利用随机子集和问题多维推广的近期进展，获得一种可容纳结构化剪枝于 SLTH 中所出现的随机依赖的变体。我们将该结果应用于证明，对于广泛一类随机卷积神经网络，存在可逼近任意足够小网络的结构化子网络。该结果为结构化剪枝下的 SLTH 提供了首个亚指数界，为关于该假设的进一步研究开辟了新途径，并有助于理解过参数化在深度学习中的作用。