奥卡姆剃刀修剪权重：利用边际似然进行神经网络的贝叶斯稀疏化
机器学习
2024-11-06 v2 机器学习
摘要
神经网络稀疏化是节省计算时间和内存成本的一条有前景的途径，特别是在许多成功的 AI 模型变得过于庞大而无法在消费级硬件上朴素部署的时代。虽然大量工作集中于不同的权重剪枝标准，但网络的整体可稀疏性（即其在无质量损失情况下被剪枝的能力）往往被忽视。我们提出了通过边际似然实现稀疏化（SpaM），这是一个剪枝框架，强调了结合贝叶斯边际似然与诱导稀疏的先验分布以提高神经网络可稀疏性的有效性。我们的方法实现了一种自动的奥卡姆剃刀，能够选择既能良好解释数据又最具可稀疏性的模型，适用于结构化和非结构化稀疏化。此外，我们证明了拉普拉斯近似中使用的预计算后验 Hessian 近似可被复用以定义一种廉价的剪枝标准，其性能优于许多现有的（更昂贵的）方法。我们在多种神经网络架构和数据集上展示了该框架的有效性，特别是在高稀疏度水平下。
引用
@article{arxiv.2402.15978,
title = {Shaving Weights with Occam's Razor: Bayesian Sparsification for Neural Networks Using the Marginal Likelihood},
author = {Rayen Dhahri and Alexander Immer and Betrand Charpentier and Stephan Günnemann and Vincent Fortuin},
journal= {arXiv preprint arXiv:2402.15978},
year = {2024}
}
备注
NeurIPS 2024