随机梯度朗之万动力学的优先子采样
机器学习
2023-07-11 v3 机器学习
统计计算
统计方法学
摘要
随机梯度MCMC（SGMCMC）通过利用数据的一个小的、均匀加权的子样本构造对数后验梯度无偏估计，提供了传统MCMC的可扩展替代方案。尽管计算高效，所得的梯度估计器可能表现出高方差并影响采样器性能。方差控制问题传统上通过构造更好的随机梯度估计器来解决，通常使用控制变量法。我们提出使用离散的非均匀概率分布来优先子采样对随机梯度有更大影响的数据点。此外，我们提出了一种在算法每次迭代时自适应调整子样本大小的方法，以便在梯度更难估计的样本空间区域增大子样本大小。我们证明，这种方法能够在保持相同精度水平的同时，大幅减少所使用的平均子样本大小。
引用
@article{arxiv.2210.16189,
title = {Preferential Subsampling for Stochastic Gradient Langevin Dynamics},
author = {Srshti Putcha and Christopher Nemeth and Paul Fearnhead},
journal= {arXiv preprint arXiv:2210.16189},
year = {2023}
}
备注
22 pages, 5 figures. Appeared in the proceedings of AISTATS 2023