剪枝迷思：神经网络剪枝超越测试精度的效应
机器学习
2021-03-05 v1 人工智能
计算机视觉与模式识别
摘要
神经网络剪枝是一种用于降低现代潜在过参数化网络推理成本的技术。从一个预训练网络开始，过程如下：移除冗余参数、重训练，并在保持相同测试精度的同时重复。结果是一个大小为原始网络一小部分且具可比预测性能（测试精度）的模型。在此，我们重新评估并考察仅将测试精度用于终止条件是否足以确保所得模型在更广泛“更难”指标上表现良好，例如对分布外数据的泛化和对噪声的鲁棒性。在对不同架构和数据集的评估中，我们发现剪枝网络有效近似了未剪枝模型，然而剪枝网络达到相称性能的剪枝率在不同任务间差异显著。这些结果对深度学习中“真正”过参数化的程度提出质疑，并引发对部署剪枝网络实用性的担忧，特别是在安全关键系统背景下，除非它们在测试精度之外被广泛评估以可靠预测其性能。我们的代码见 https://github.com/lucaslie/torchprune。
引用
@article{arxiv.2103.03014,
title = {Lost in Pruning: The Effects of Pruning Neural Networks beyond Test Accuracy},
author = {Lucas Liebenwein and Cenk Baykal and Brandon Carter and David Gifford and Daniela Rus},
journal= {arXiv preprint arXiv:2103.03014},
year = {2021}
}
备注
Published in MLSys 2021