多指标对偶随机梯度算法
机器学习
2021-10-01 v2 机器学习
概率论
统计理论
统计计算
统计理论
摘要
随机梯度算法(SGAs)在计算统计、机器学习和优化中无处不在。近年来对SGAs的兴趣激增,其偏差的非渐近分析现已较为成熟。然而,关于SGAs中梯度随机近似(例如小批量)的最优选择知之甚少,因为这依赖于方差分析且具有问题特异性。尽管已有大量尝试来降低SGAs的方差,这些方法通常利用采样分布的特定结构,需要事先知道其密度模态。因此,如何使此类算法适应非对数凹设定尚不清楚。在本文中,我们构建了多指标对偶随机梯度算法(MASGA),其实现独立于目标测度的结构,并且达到了能够获取感兴趣分布无偏样本的蒙特卡洛估计器的性能。换言之,从均方误差-计算代价角度看,MASGA是蒙特卡洛估计器类中的最优估计器。我们严格证明了对数凹设定下的这一事实,并在一些不满足对数凹假设的例子中进行了数值验证。
引用
@article{arxiv.2006.06102,
title = {Multi-index Antithetic Stochastic Gradient Algorithm},
author = {Mateusz B. Majka and Marc Sabate-Vidales and Łukasz Szpruch},
journal= {arXiv preprint arXiv:2006.06102},
year = {2021}
}
备注
51 pages, 8 figures. Revised version: an improved introduction, a completely new numerical section including experiments in non-convex settings, a new appendix discussing the dependence of the variance of SGLD on the mini-batch size