剪枝视觉模型中的偏差：深入分析和对策
计算机视觉与模式识别
2023-04-26 v1 机器学习
摘要
剪枝——即将神经网络显著子集的参数置零——是最流行的模型压缩方法之一。然而，若干近期工作提出剪枝可能诱发或加剧压缩模型输出中的偏差。尽管存在该现象的证据，神经网络剪枝与诱发偏差间的关系尚不明了。本工作中，我们系统性地研究并刻画计算机视觉卷积神经网络中的该现象。首先，我们表明事实上可获得高度稀疏模型，例如剩余权重低于10%，其与稠密模型相比精度未下降且偏差未显著上升。同时，我们也发现，在更高稀疏度下，剪枝模型输出呈现更高不确定性及更强相关性，我们将其直接归因于偏差增加。我们提出仅基于未压缩模型即可判断偏差是否随剪枝增加的易用准则，并识别压缩后最易受偏差预测影响的样本。
引用
@article{arxiv.2304.12622,
title = {Bias in Pruned Vision Models: In-Depth Analysis and Countermeasures},
author = {Eugenia Iofinova and Alexandra Peste and Dan Alistarh},
journal= {arXiv preprint arXiv:2304.12622},
year = {2023}
}
备注
8 Pages / 49 with references and appendix. Accepted to CVPR 2023