时空融合贝叶斯神经网络：变分贝叶斯特征层
机器学习
2021-12-14 v1 人工智能
机器学习
摘要
贝叶斯神经网络（BNNs）已成为缓解深度学习中过度自信预测的主要方法，但由于大量的分布参数，它们经常遭受扩展性问题。在本文中，我们发现深度网络的第一层在仅重新训练时拥有多个不同的最优解。这表明当第一层被贝叶斯层改变时存在较大的后验方差，这促使我们设计一种时空融合BNN（STF-BNN）以高效地将BNNs扩展到大型模型：（1）首先从零开始正常训练神经网络以实现快速训练；以及（2）第一层被转换为贝叶斯层并通过随机变分推断进行推断，而其他层固定。与朴素BNNs相比，我们的方法可以极大减少训练时间和参数数量，有助于高效扩展BNNs。我们进一步在泛化性和缓解STF-BNN过度自信的能力方面提供理论保证。综合实验表明，STF-BNN（1）在预测和不确定性量化上达到最先进的性能；（2）显著提升对抗鲁棒性和隐私保护；以及（3）大幅减少训练时间和内存成本。
引用
@article{arxiv.2112.06281,
title = {Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer},
author = {Shiye Lei and Zhuozhuo Tu and Leszek Rutkowski and Feng Zhou and Li Shen and Fengxiang He and Dacheng Tao},
journal= {arXiv preprint arXiv:2112.06281},
year = {2021}
}