基于副本交换随机梯度MCMC的非凸学习
机器学习
2021-03-23 v3 机器学习
概率论
统计方法学
摘要
副本交换蒙特卡洛(reMC)，又称并行回火，是加速传统马尔可夫链蒙特卡洛(MCMC)算法收敛的重要技术。然而，该方法需要基于完整数据集计算能量函数，难以扩展到大数据场景。在mini-batch设置下对reMC的朴素实现会引入较大偏差，无法直接推广到随机梯度MCMC(SGMCMC)——一种从深度神经网络(DNNs)中采样的标准方法。本文提出一种自适应副本交换SGMCMC(reSGMCMC)以自动校正偏差，并研究其相应性质。分析表明，在随机环境中对马尔可夫跳跃过程进行数值离散时存在加速-精度权衡。在实验上，我们通过多种设置下的广泛实验测试了该算法，并在有监督学习和半监督学习任务中于CIFAR10、CIFAR100和SVHN上取得了最先进(state-of-the-art)的结果。
引用
@article{arxiv.2008.05367,
title = {Non-convex Learning via Replica Exchange Stochastic Gradient MCMC},
author = {Wei Deng and Qi Feng and Liyao Gao and Faming Liang and Guang Lin},
journal= {arXiv preprint arXiv:2008.05367},
year = {2021}
}
备注
Accepted by ICML 2020