作为结构化网络剪枝原则性度量的 Shapley 值
机器学习
2020-06-03 v1 计算机视觉与模式识别
神经与进化计算
摘要
结构化剪枝是一种众所周知的用于降低神经网络存储规模与推理成本的技术。通常的剪枝流程包括：依据网络内部滤波器与激活对网络性能的贡献进行排序，移除贡献最低的单元，并微调网络以减轻剪枝带来的损害。近期结果表明，在给定充足微调资源时，随机剪枝与其他度量标准表现相当。本工作中，我们表明在低数据情形下当微调不可行或无效时，上述结论不成立。此时，减少剪枝造成的损害对于保持网络性能至关重要。首先，我们利用合作博弈论提供的工具分析隐藏单元贡献的估计问题，并提出将 Shapley 值作为该任务的原则性排序度量。我们与文献中提出的若干替代方案进行比较，并讨论 Shapley 值在理论上为何更优。最后，我们在低数据剪枝这一挑战性场景下比较所有排序度量，结果表明 Shapley 值优于其他启发式方法。
引用
@article{arxiv.2006.01795,
title = {Shapley Value as Principled Metric for Structured Network Pruning},
author = {Marco Ancona and Cengiz Öztireli and Markus Gross},
journal= {arXiv preprint arXiv:2006.01795},
year = {2020}
}