SiPPing 神经网络：基于敏感度感知的可证明神经网络剪枝
机器学习
2021-03-16 v2 数据结构与算法
机器学习
摘要
我们提出了一种剪枝算法，可证明地以近似保持模型预测精度的方式稀疏化已训练模型的参数。我们的算法使用一小批输入点来构造网络上参数的数据驱动重要性采样分布，并自适应地混合基于采样与确定性的剪枝过程以丢弃冗余权重。我们的剪枝方法同时具有计算高效、可证明准确以及广泛适用于各种网络架构和数据分布的特点。我们的经验比较表明，该算法能可靠地生成高度压缩的网络，且相对于原始网络性能损失极小。我们给出的实验结果表明，该算法有潜力发掘出可独立成功训练的基本网络连接，这本身可能具有独立意义。
引用
@article{arxiv.1910.05422,
title = {SiPPing Neural Networks: Sensitivity-informed Provable Pruning of Neural Networks},
author = {Cenk Baykal and Lucas Liebenwein and Igor Gilitschenski and Dan Feldman and Daniela Rus},
journal= {arXiv preprint arXiv:1910.05422},
year = {2021}
}
备注
First two authors contributed equally