用于变分贝叶斯的拟牛顿拟蒙特卡罗方法

许多机器学习问题优化的目标函数必须通过含噪声的测量来评估。主要方法是使用每一步一个或多个蒙特卡罗(MC)样本的一阶随机梯度下降。在某些情形下,病态条件使得L-BFGS等二阶方法更为有效。我们研究了将随机化拟蒙特卡罗(RQMC)采样用于此类问题。当MC采样的均方根误差(RMSE)为$O(n^{-1/2})$时,RQMC的RMSE为$o(n^{-1/2})$,在有利情形下可接近$O(n^{-3/2})$。我们证明,采样精度的提升会直接转化为优化效果的改善。在我们针对变分贝叶斯的实证研究中,将RQMC与随机L-BFGS结合使用极大地加速了优化,且有时找到比MC更优的参数值。