通过学习激活函数实现高保真函数空间先验
机器学习
2025-08-13 v1 机器学习
摘要
贝叶斯神经网络（BNN）中的函数空间先验提供了一种更直观的方法，通过直接嵌入信念于模型输出，从而增强正则化、不确定性量化和风险感知决策。然而，在 BNN 上施加函数空间先验具有挑战性。我们通过优化技术来探索可训练激活函数如何容纳更高复杂度的先验并匹配复杂的目标函数分布。我们研究了灵活的激活模型，包括 Pade 函数和分段线性函数，并讨论了与可识别性、损失构建和对称性相关的学习挑战。我们的实证发现表明，即使是仅具备单个宽隐藏层的 BNN，通过配备灵活的可训练激活函数，也能有效实现所需的函数空间先验。
引用
@article{arxiv.2508.08880,
title = {Hi-fi functional priors by learning activations},
author = {Marcin Sendera and Amin Sorkhei and Tomasz Kuśmierczyk},
journal= {arXiv preprint arXiv:2508.08880},
year = {2025}
}
备注
Published in Workshop on Bayesian Decision-making and Uncertainty, 38th Conference on Neural Information Processing Systems (NeurIPS 2024)