部分冻结的随机网络包含紧凑的强彩票

随机初始化的稠密网络包含无需权重学习即可实现高精度的子网络——强彩票（strong lottery tickets, SLTs）。最近，Gadhikar 等人（2023）证明在随机剪枝的源网络中也能找到 SLT。这一现象可用于进一步压缩 SLT 所需的小内存占用。然而，他们的方法仅限于寻找比源网络更稀疏的 SLT，导致因非预期的高稀疏度而降低准确率。本文提出了一种在不限制可发现 SLT 稀疏度的情况下减小 SLT 内存占用的方法。通过永久剪枝或将初始权重的随机子集锁定为 SLT 的固定部分来冻结这些权重，从而减小模型尺寸。实验结果表明，Edge-Popup（Ramanujan 等人，2020；Sreenivasan 等人，2022）在冻结网络中找到的 SLT 相比在稠密或随机剪枝源网络中找到的 SLT，具有更好的准确率与模型尺寸权衡。特别是，在 ImageNet 上冻结 ResNet 的$70\%$权重，相比在稠密对应网络中找到的 SLT 提供了$3.3 \times$的压缩率，相比在随机剪枝对应网络中找到的 SLT 准确率提高了多达$14.12$个点，并且在准确率 - 模型尺寸权衡方面优于两者。