随机初始化子网络与迭代权重回收

多奖彩票假设（Multi-Prize Lottery Ticket Hypothesis）认为，随机初始化的神经网络包含若干子网络，其精度可与同架构的完全训练模型相媲美。然而，现有方法要求网络具有充分的过参数化。本文中，我们对两种最先进算法（Edge-Popup 与 Biprop）提出改进，以无额外存储成本或缩放的方式找到高精度子网络。该算法称为迭代权重回收（Iterative Weight Recycling），在随机初始化网络内识别重要权重的子集以供层内重用。我们通过实验展示了在较小网络架构与更高剪枝率上的改进，发现模型稀疏性可通过现有权重的“回收”而提升。除迭代权重回收外，我们以一项互补发现补充多奖彩票假设：高精度的随机初始化子网络产生多样的掩码，尽管它们由相同超参数与剪枝策略生成。我们探究了这些掩码的损失景观，其表现出高度变异性。