面向神经网络的幅值与不确定性剪枝准则
机器学习
2019-12-11 v1 机器学习
摘要
近年来神经网络取得了显著进展，并代表了当今许多真实世界任务的最先进方法。然而，一个缺陷是许多此类模型过度参数化，使其在计算和内存上均十分密集。此外，过度参数化还会导致不期望的过拟合副作用。受近期提出的基于幅值的剪枝方案以及统计学领域的 Wald 检验启发，我们引入了一种新颖的幅值与不确定性（M&U）剪枝准则，有助于减轻此类缺陷。我们 M&U 剪枝准则的一个重要优势是它具有尺度不变性，而这是基于幅值的剪枝准则所面临的问题。此外，我们提出了一种“伪自助法”方案，可通过利用训练期间权重的更新信息来高效估计其不确定性。我们基于多种神经网络架构和数据集的实验评估表明，与仅基于幅值剪枝准则的模型相比，新准则可得到更紧凑的模型，同时预测能力的损失更小。
引用
@article{arxiv.1912.04845,
title = {Magnitude and Uncertainty Pruning Criterion for Neural Networks},
author = {Vinnie Ko and Stefan Oehmcke and Fabian Gieseke},
journal= {arXiv preprint arXiv:1912.04845},
year = {2019}
}
备注
10 pages