预训练模型中存在彩票头奖
计算机视觉与模式识别
2023-09-06 v7
摘要
网络剪枝是一种以可接受的性能折损降低网络复杂度的有效方法。现有研究通过耗时的权重训练或对加宽网络进行复杂搜索来实现神经网络稀疏化，极大限制了网络剪枝的应用。在本文中，我们表明无需权重训练、被称为“彩票头奖”的高性能稀疏子网络存在于未加宽宽度的预训练模型中。此外，我们从两个角度提升了搜索彩票头奖的效率。首先，我们观察到许多现有剪枝准则导出的稀疏掩码与我们的彩票头奖搜索掩码高度重叠，其中基于幅度的剪枝产生的掩码与我们的最为相似。因此，我们的搜索彩票头奖在 ResNet-50 中移除了 90% 的权重，同时仅在 ImageNet 上使用 5 个搜索轮次便轻松获得超过 70% 的 top-1 准确率。基于该发现，我们使用基于幅度的剪枝初始化稀疏掩码，从而在彩票头奖搜索上实现至少 3 倍的代价降低，同时取得相当甚至更好的性能。其次，我们对彩票头奖的搜索过程进行了深入分析。我们的理论结果表明，权重搜索期间训练损失的下降会受到现代网络中权重间依赖关系的干扰。为缓解此问题，我们提出了一种新颖的短期限制方法，以限制可能对训练损失产生潜在负面影响的掩码变化。我们的代码可在 https://github.com/zyxxmu/lottery-jackpots 获取。
引用
@article{arxiv.2104.08700,
title = {Lottery Jackpots Exist in Pre-trained Models},
author = {Yuxin Zhang and Mingbao Lin and Yunshan Zhong and Fei Chao and Rongrong Ji},
journal= {arXiv preprint arXiv:2104.08700},
year = {2023}
}
备注
IEEE Transactions on Pattern Analysis and Machine Intelligence (IEEE TPAMI)