组合式脑外科医生：剪枝神经网络中相互抵消的权重
机器学习
2022-06-22 v3 计算机视觉与模式识别
摘要
神经网络若规模更大，往往能在训练中取得更好精度——即使所得模型是过参数化的。然而，在训练前、训练中或训练后仔细移除这些多余参数，也可能产生具有相似甚至更高精度的模型。在许多情况下，这可通过如移除绝对值最小权重百分比般简单的启发式方法奇怪地实现——尽管量级并非权重相关性的完美代理。基于从剪枝获得显著更优性能取决于考量移除多个权重的联合效应这一前提，我们重访经典的基于影响的剪枝方法之一：最优脑外科医生（OBS）。我们提出了一种可处理的启发式方法来求解 OBS 的组合扩展，其中我们选取权重用于同时移除，并对剩余权重进行系统性更新。我们的选择方法在高稀疏度下优于其他方法，且权重更新即使与其他方法结合也有优势。
引用
@article{arxiv.2203.04466,
title = {The Combinatorial Brain Surgeon: Pruning Weights That Cancel One Another in Neural Networks},
author = {Xin Yu and Thiago Serra and Srikumar Ramalingam and Shandian Zhe},
journal= {arXiv preprint arXiv:2203.04466},
year = {2022}
}