深度神经网络中的级联权重脱落：网络剪枝的益处与陷阱
机器学习
2021-03-22 v1
摘要
我们首次报道深度神经网络中的级联权重脱落（cascade weight shedding）现象：作为对剪除网络少量权重的响应，剩余权重中有很大比例在随后微调阶段的几个周期内脱落。我们表明，当存在级联权重脱落时，它能显著提升原本次优方案（如随机剪枝）的性能。这解释了为何某些剪枝方法在特定情形下表现良好，而在其他情形下表现糟糕，例如ResNet50与MobileNetV3。我们深入分析了为何基于全局幅值的剪枝（即GMP）尽管简单，却能在广泛场景中提供有竞争力的性能。我们还展示了级联权重脱落提升GMP准确率并降低其计算复杂度的潜力。在此过程中，我们强调了剪枝与学习率调度的重要性。我们阐明了再训练中的权重回退与学习率回退方法，展示它们与级联权重脱落的可能联系及其优于微调的原因。我们还研究了级联权重脱落对保留权重集合的影响，及其对半结构化剪枝的启示。最后，我们给出未来研究方向。
引用
@article{arxiv.2103.10629,
title = {Cascade Weight Shedding in Deep Neural Networks: Benefits and Pitfalls for Network Pruning},
author = {Kambiz Azarian and Fatih Porikli},
journal= {arXiv preprint arXiv:2103.10629},
year = {2021}
}