聚合梯度 Langevin 动力学
机器学习
2019-10-22 v1 机器学习
摘要
本文中，我们探索一种用于马尔可夫链蒙特卡洛（MCMC）采样的通用聚合梯度 Langevin 动力学框架（AGLD）。我们在凸与非凸设定下，针对不同数据访问（如随机访问、循环访问与随机重排）与快照更新策略，以统一分析考察了 AGLD 的非渐近收敛性。这是 MCMC 文献中首次建立循环访问与随机重排等 I/O 友好策略的界。理论结果还表明，AGLD 中的方法兼具每迭代计算复杂度低与混合时间短的优点。实证研究表明，我们的框架可推导出新颖方案，为大规模贝叶斯后验学习任务生成高质量样本。
引用
@article{arxiv.1910.09223,
title = {Aggregated Gradient Langevin Dynamics},
author = {Chao Zhang and Jiahao Xie and Zebang Shen and Peilin Zhao and Tengfei Zhou and Hui Qian},
journal= {arXiv preprint arXiv:1910.09223},
year = {2019}
}