初始化剪枝的二阶视角

预训练视觉模型的广泛可用性已通过其可迁移的表征性质，使众多深度学习应用成为可能。然而，其计算和存储成本常常限制了实际部署。初始化时剪枝（pruning-at-initialization）作为一种在训练前压缩模型的有前景的做法，使能够高效地进行特定任务的适应。虽然传统观念认为有效剪枝需要特定于任务的数据，但这会在下游任务事先未知时造成挑战。本文我们研究了数据如何影响预训练视觉模型的剪枝。出乎意料的是，对一个任务进行剪枝，仍可保留模型在未见任务上的零样本性能。进一步地，对这些被剪枝的模型进行微调，不仅改善了原始已见任务上的表现，而且可以恢复被遗漏任务的性能。我们将这一现象归因于大规模数据集上的广泛预训练所诱导的有利损失景观。