ReLU 神经网络上的哈密顿蒙特卡洛方法效率低下
机器学习
2024-10-30 v1 机器学习
摘要
我们分析了使用蛙跳积分器的哈密顿蒙特卡洛（HMC）算法在贝叶斯神经网络推断中的误差率。我们证明，由于 ReLU 族激活函数的不可微性，针对具有这些激活函数的网络的蛙跳 HMC 具有 Ω(ε) 的较大局部误差率，而非经典的 O(ε^3) 误差率。这导致提议的拒绝率更高，使得该方法效率低下。我们随后通过经验模拟以及在真实世界数据集上的实验验证了我们的理论发现，这些结果凸显了与解析网络相比，HMC 在基于 ReLU 的神经网络上进行推断的低效性。
引用
@article{arxiv.2410.22065,
title = {Hamiltonian Monte Carlo on ReLU Neural Networks is Inefficient},
author = {Vu C. Dinh and Lam Si Tung Ho and Cuong V. Nguyen},
journal= {arXiv preprint arXiv:2410.22065},
year = {2024}
}
备注
Paper published at NeurIPS 2024