重新审视非结构化剪枝中的损失建模
机器学习
2020-06-23 v1 机器学习
摘要
非结构化剪枝方法通过移除深度神经网络中的参数，旨在降低内存占用和计算成本，同时保持预测精度。为解决这一原本难以处理的问题，许多方法使用一阶或二阶泰勒展开对损失景观进行建模，以识别可丢弃的参数。我们重新审视非结构化剪枝中的损失建模：展示了确保剪枝步骤局部性的重要性。我们系统地比较了一阶和二阶泰勒展开，并经验性地表明二者均可达到相似的性能水平。最后，我们表明更好地保留原始网络函数并不一定在微调后转化为性能更优的网络，这意味着仅考虑剪枝对损失的影响可能不足以作为设计良好剪枝准则的目标。
引用
@article{arxiv.2006.12279,
title = {Revisiting Loss Modelling for Unstructured Pruning},
author = {César Laurent and Camille Ballas and Thomas George and Nicolas Ballas and Pascal Vincent},
journal= {arXiv preprint arXiv:2006.12279},
year = {2020}
}