面向弱信号的资讯式贝叶斯神经网络先验
机器学习
2023-03-31 v2 机器学习
摘要
在数据和弱信号有限的应用中，将领域知识编码到神经网络高维权重空间上的先验中是具有挑战性但至关重要的。科学应用中两类领域知识通常可得：1. 特征稀疏性（被认为相关的特征比例）；2. 信噪比，例如量化为解释方差比例（PVE）。我们展示了如何将这两类领域知识编码到广泛使用的带自动相关性确定的高斯尺度混合先验中。具体而言，我们提出一种新的关于局部（即特征特定）尺度参数的联合先验，其编码关于特征稀疏性的知识，以及一种 Stein 梯度优化来调整超参数，使得模型 PVE 上诱导的分布与先验分布相匹配。我们通过实验证明，在多个公开数据集以及一个信号弱且稀疏的遗传学应用中，与现有神经网络先验相比，新先验提高了预测精度，且常优于甚至计算密集的交叉验证超参数调优。
引用
@article{arxiv.2002.10243,
title = {Informative Bayesian Neural Network Priors for Weak Signals},
author = {Tianyu Cui and Aki Havulinna and Pekka Marttinen and Samuel Kaski},
journal= {arXiv preprint arXiv:2002.10243},
year = {2023}
}
备注
25 pages, 8 figures, 4 tables