通过后验校正实现 SVRG 与更广泛的应用
机器学习
2025-12-02 v1 人工智能
摘要
随机方差缩减梯度(SVRG)及其变体旨在通过使用梯度校正来加速训练，但在深度学习中取得了有限的成功。我们发现SVRG与一种 recently 提出的贝叶斯方法 posterior correction 之间存在惊人的新的基础连接。具体而言，我们展示SVRG 可作为后验校正针对各向同性高斯族的特殊案例，而更灵活的指数族则自动获得新扩展。我们使用高斯族推导了两个新的SVRG变体：首先，一种类似 Newton 的变体采用新颖的 Hessian校正，其次，一种类似 Adam 的扩展改进了 Transformer 语言模型的预训练和微调。这项工作是首次将SVRG连接到贝叶斯方法，并用于提升深度网络的变分训练。
引用
@article{arxiv.2512.01930,
title = {SVRG and Beyond via Posterior Correction},
author = {Nico Daheim and Thomas Möllenhoff and Ming Liang Ang and Mohammad Emtiyaz Khan},
journal= {arXiv preprint arXiv:2512.01930},
year = {2025}
}
备注
Preprint. Under review