基于变分自由能最小化的贝叶斯神经网络原则性剪枝
机器学习
2024-10-15 v3 信号处理
摘要
贝叶斯模型约简提供了一种高效方法，用于比较一个模型所有嵌套子模型的性能，而无需重新评估这些子模型中的任何一个。迄今，贝叶斯模型约简主要在计算神经科学界应用于简单模型。本文中，我们公式化并应用贝叶斯模型约简，基于变分自由能最小化对贝叶斯神经网络执行原则性剪枝。然而，直接应用贝叶斯模型约简会产生近似误差。因此，提出了一种新颖的迭代剪枝算法以缓解朴素贝叶斯模型约简所引起的问题，并在公开UCI数据集上针对不同推断算法进行了实验验证。该新颖参数剪枝方案解决了信号处理界所用当前SOTA剪枝方法的缺陷。所提方法具有明确的停止准则，并最小化与训练时相同的目标。除这些优势外，我们的实验表明相较于SOTA剪枝方案具有更好的模型性能。
引用
@article{arxiv.2210.09134,
title = {Principled Pruning of Bayesian Neural Networks through Variational Free Energy Minimization},
author = {Jim Beckers and Bart van Erp and Ziyue Zhao and Kirill Kondrashov and Bert de Vries},
journal= {arXiv preprint arXiv:2210.09134},
year = {2024}
}