前景剪枝：利用元梯度在初始化时寻找可训练权重
机器学习
2022-04-06 v2
摘要
在初始化时剪枝神经网络将使我们能够找到稀疏模型，在保持原始网络精度的同时，减少训练和推理所需的计算资源。然而，现有方法不足以实现这一优化，并导致模型性能大幅下降。在本文中，我们指出了当前方法在公式上的一个根本局限，即它们的显著性准则仅关注训练开始时的单步，而未考虑网络的可训练性。尽管迭代式逐步剪枝已被证明能改善剪枝性能，但在显著性准则的计算中迄今一直缺乏对紧接剪枝之后的训练阶段的明确考量。为克服现有方法的短视性，我们提出前景剪枝（Prospect Pruning, ProsPr），它利用通过前几步优化的元梯度来决定剪除哪些权重。ProsPr 结合了对剪枝在损失和优化轨迹上高阶效应的估计，以识别可训练子网络。与现有的初始化时剪枝方法相比，我们的方法在多种视觉分类任务上以更少的数据且一次性地实现了最先进的剪枝性能。
引用
@article{arxiv.2202.08132,
title = {Prospect Pruning: Finding Trainable Weights at Initialization using Meta-Gradients},
author = {Milad Alizadeh and Shyam A. Tailor and Luisa M Zintgraf and Joost van Amersfoort and Sebastian Farquhar and Nicholas Donald Lane and Yarin Gal},
journal= {arXiv preprint arXiv:2202.08132},
year = {2022}
}