贝叶斯加性回归网络
机器学习
2024-04-09 v1 机器学习
摘要
我们将贝叶斯加性回归树（BART）原理应用于训练用于回归任务的小型神经网络集成。使用马尔可夫链蒙特卡洛方法，我们从具有单隐藏层的神经网络的后验分布中进行采样。为了构建这些网络的集成，我们应用 Gibbs 采样来针对残差目标值（即减去其他网络的影响）更新每个网络。我们在几个基准回归问题上展示了该技术的有效性，并将其与等效的浅层神经网络、BART 和普通最小二乘法进行了比较。我们的贝叶斯加性回归网络（BARN）提供了更一致且通常更准确的结果。在测试数据基准上，BARN 的平均均方根误差降低了 5% 到 20%。然而，这种误差性能确实以更长的计算时间为代价。竞争方法只需一秒或更短时间，而 BARN 有时需要约一分钟。但是，无需交叉验证超参数调优的 BARN 所需的计算时间与经过调优的其他方法大致相同，且 BARN 仍然通常更准确。
引用
@article{arxiv.2404.04425,
title = {Bayesian Additive Regression Networks},
author = {Danielle Van Boxel},
journal= {arXiv preprint arXiv:2404.04425},
year = {2024}
}