研究彩票票剪枝掩码的一致性与可组合性

量级剪枝是一种常见且有效的技术，能以极小的精度代价识别稀疏子网络。在这项工作中，我们探究特定架构的精度-稀疏性权衡是否可以通过跨多次训练运行组合剪枝信息来改进。从共享的 ResNet-20 初始化出发，我们在 CIFAR-10 上使用不同的 SGD 数据顺序将若干网络副本（\emph{兄弟网络}）训练至收敛。尽管兄弟网络的剪枝掩码在朴素情况下并不比随机相似度更高，但在经过若干轮共享预训练后再启动兄弟网络训练可显著提升剪枝重叠度。随后，我们通过以下方式选择子网络：(1) 取在所有兄弟网络中剪枝后均保留的权重（掩码并集），或 (2) 仅取在所有兄弟网络中均存活的权重（掩码交集）。所得子网络被重新训练。引人注目的是，我们发现并集与交集掩码表现极为相似。即便我们组合多达 $k = 10$ 个兄弟网络的掩码，两种方法均与一次性量级剪枝基线的精度-稀疏性权衡相匹配。