带整流线性单元的泊松超平面过程
机器学习
2026-01-12 v1 统计方法学
机器学习
摘要
神经网络在各类分类和回归任务中展现了最先进的性能。整流线性单元（ReLU）常被用作神经网络模型中隐藏层的激活函数。本文建立了泊松超平面过程（PHP）与两层 ReLU 神经网络之间的联系。我们证明了具有高斯先验的 PHP 是两层 ReLU 神经网络的一种替代性概率表示。此外，我们证明了由 PHP 构建的两层神经网络通过分解命题可扩展至大规模问题。最后，我们提出了一种用于贝叶斯推断的退火序列蒙特卡洛算法。数值实验表明，我们提出的方法优于经典的两层 ReLU 神经网络。我们提出的模型的实现代码可在 https://github.com/ShufeiGe/Pois_Relu.git 获取。
引用
@article{arxiv.2601.05586,
title = {Poisson Hyperplane Processes with Rectified Linear Units},
author = {Shufei Ge and Shijia Wang and Lloyd Elliott},
journal= {arXiv preprint arXiv:2601.05586},
year = {2026}
}