当层抽取彩票时，所有票券在初始化即获胜

剪枝是降低深度网络计算成本的标准技术。许多剪枝进展借用了彩票假说（LTH）的概念。LTH 揭示，在训练好的稠密网络内部存在稀疏子网络（票券），其能达到相近精度（即抽中彩票——获胜票券）。初始化时剪枝聚焦于在不训练稠密网络的前提下寻找获胜票券。关于这些概念的研究共有一个趋势：子网络来自权重或滤波器剪枝。本工作中，我们从层剪枝的视角考察 LTH 与初始化时剪枝。首先，我们确认当剪枝过程移除层时获胜票券的存在性。受此观察启发，我们提出在初始化时发现这些获胜票券，从而消除训练初始（过参数化）稠密网络所需的大量计算资源。大量实验表明，我们的获胜票券显著加速训练阶段并减少高达 51% 的碳排放，是迈向民主化与绿色人工智能的重要一步。除计算收益外，我们的获胜票券对对抗样本与分布外样本表现出鲁棒性。最后，我们展示我们的子网络在初始化时轻松抽中彩票，而来自滤波器移除（标准结构化 LTH）的票券几乎无法成为获胜票券。