贝叶斯型彩票假设
机器学习
2026-02-24 v1 计算机视觉与模式识别
摘要
贝叶斯神经网络（BNNs）是不确定性定量化的有用工具，但需要比常规神经网络更大的计算资源。对于非贝叶斯网络，彩票假设（LTH）认为存在能够训练到相同甚至更高准确率的稀疏子网络。此类稀疏网络可以在推理期间以及训练期间降低对计算资源的需求。BNN 中的 LTH 的存在以及相应的稀疏子网络，可能动力开发稀疏训练算法，并为理解底层训练过程提供宝贵的见解。为此，我们将 LTH 实验翻译到贝叶斯设置中，使用常见的计算机视觉模型。我们研究了贝叶斯彩票的定义性特征，并将我们的研究扩展到一种连接 BNN 与确定性彩票的移植方法。我们通常发现 LTH 在 BNN 中成立，匹配或超越准确率的获奖票存在于模型大小独立的情况下，但在非常高的稀疏度时会出现退化。然而，修剪策略应主要依赖于幅度，其次依赖于标准差。此外，我们的结果表明，模型对掩码结构和权重初始化的依赖程度各不相同。
引用
@article{arxiv.2602.18825,
title = {Bayesian Lottery Ticket Hypothesis},
author = {Nicholas Kuhn and Arvid Weyrauch and Lars Heyen and Achim Streit and Markus Götz and Charlotte Debus},
journal= {arXiv preprint arXiv:2602.18825},
year = {2026}
}