在模型压缩中超越分类准确率度量
计算机视觉与模式识别
2021-06-16 v2 人工智能
机器学习
摘要
随着边缘计算设备的兴起，对部署节能且资源高效的模型的需求日益增长。大量研究致力于开发能够在不影响top-1准确率等标准度量的前提下大幅缩减模型尺寸的方法。然而，这些剪枝方法往往导致其他度量（如各类间的公平性和可解释性）出现显著失配。为应对这种失配，我们受知识蒸馏文献启发提出了一种新颖的多部分损失函数。通过大量实验，我们证明了我们的方法在不同压缩算法、架构、任务以及数据集上的有效性。特别地，在压缩模型与参考模型之间，我们将预测失配数量减少了至多，在参考模型预测正确的情况下减少了至多；所有这些均未改变压缩算法，仅对损失函数做了微小修改。此外，我们展示了如何通过对模型预测施加简单对齐来自然改善包括公平性和归因在内的其他度量的对齐。因此，我们的框架可作为未来压缩算法中一个简单的即插即用组件。
引用
@article{arxiv.2012.01604,
title = {Going Beyond Classification Accuracy Metrics in Model Compression},
author = {Vinu Joseph and Shoaib Ahmed Siddiqui and Aditya Bhaskara and Ganesh Gopalakrishnan and Saurav Muralidharan and Michael Garland and Sheraz Ahmed and Andreas Dengel},
journal= {arXiv preprint arXiv:2012.01604},
year = {2021}
}