压缩后的深度神经网络遗忘了什么？
机器学习
2021-09-07 v3 人工智能
计算机视觉与模式识别
人机交互
机器学习
摘要
深度神经网络剪枝和量化技术已表明，有可能实现高水平的压缩，而对测试集准确率的退化却小得惊人。然而，这一性能指标掩盖了不同类别和图像受模型压缩技术影响的显著差异。我们发现，权重数量截然不同的模型具有可比的总体性能指标，但在数据集的一个狭窄子集上行为差异很大。这一小部分数据点，我们称之为剪枝识别样本（Pruning Identified Exemplars, PIEs），系统性地更易受稀疏性引入的影响。压缩不成比例地影响了模型在数据分布中代表性不足的长尾上的性能。PIEs 过度集中于非典型或含噪图像，这类图像对人类和算法而言都远具挑战性、更难分类。我们的工作深入揭示了容量在深度神经网络中的作用以及压缩所带来的权衡。鉴于压缩模型在现实中的广泛部署，理解这种差异性影响至关重要。
引用
@article{arxiv.1911.05248,
title = {What Do Compressed Deep Neural Networks Forget?},
author = {Sara Hooker and Aaron Courville and Gregory Clark and Yann Dauphin and Andrea Frome},
journal= {arXiv preprint arXiv:1911.05248},
year = {2021}
}