论等批量大小在随机梯度下降推断中的效用
统计计算
2025-03-27 v3 统计方法学
摘要
随机梯度下降（SGD）是机器学习和统计学中用于大数据的估计工具。由于 SGD 过程的马尔可夫性质，推断是一个具有挑战性的问题。平均 SGD（ASGD）估计量的潜在渐近正态性允许构造渐近协方差矩阵的批量均值估计量。与通常的递增批量大小策略不同，我们提出了一种内存高效的等批量大小策略，并证明在温和条件下，批量均值估计量是一致的。所提出的批处理方法的一个关键特征是，它允许对方差进行偏差校正，且不额外增加内存开销。此外，由于高维问题的联合推断可能并不可取，我们给出了边际友好的同时置信区间，并通过一个例子展示了 ASGD 的协方差估计量如何用于改进预测。
引用
@article{arxiv.2303.07706,
title = {On the Utility of Equal Batch Sizes for Inference in Stochastic Gradient Descent},
author = {Rahul Singh and Abhinek Shukla and Dootika Vats},
journal= {arXiv preprint arXiv:2303.07706},
year = {2025}
}
备注
45 pages, 8 figures