精简而卓越的压缩模型
机器学习
2023-06-21 v1
摘要
本文关注于以下任务：将一个大型已训练神经网络通过删除参数或整个神经元来“压缩”得更小，同时使所得模型准确率的下降最小化。我们比较了多种参数与神经元选择方法：基于 dropout 的神经元损伤估计、神经元合并、基于绝对值的选择、随机选择、OBD（Optimal Brain Damage，最优脑损伤）。我们还比较了经典 OBD 方法的一个变体，在大量剪枝的测试中其略微优于所有其他参数与神经元选择方法，我们称之为 OBD-SD。我们将这些方法与参数量化进行比较。我们还将上述技术（均应用于已训练神经网络）与在各种剪枝架构上从头训练（随机权重初始化）的神经网络进行比较。我们的结果仅与彩票假说（Lottery Ticket Hypothesis）微弱一致，即微调参数剪枝模型确实比用随机初始化权重从头重训类似剪枝模型略好。对于神经元级剪枝，在我们的实验中从头重训表现好得多。
引用
@article{arxiv.2306.10177,
title = {Magnificent Minified Models},
author = {Rich Harang and Hillary Sanders},
journal= {arXiv preprint arXiv:2306.10177},
year = {2023}
}
备注
We wrote this in 2021 but didn't get around to putting it up on arXiv. State of the art has advanced a bit since then, but I think the experiments we ran are still quite interesting and useful