马尔可夫线性随机逼近中常数步长的有效性及统计推断
机器学习
2023-12-19 v1 机器学习
统计方法学
摘要
本文研究了在具有马尔可夫数据的线性随机逼近 (LSA) 算法中，使用常数步长进行统计推断的有效性。在建立中心极限定理 (CLT) 之后，我们概述了一种使用平均 LSA 迭代来构建置信区间 的推断过程。我们的过程利用常数步长 LSA 的快速混合特性以获得更好的协方差估计，并采用 Richardson-Romberg (RR) 外推法来减少由常数步长和马尔可夫数据引起的偏差。我们开发了用于指导 RR 外推中步长选择的理论结果，并确定了即使在无外推的情况下偏差也可证明消失的几个重要设定。我们进行了广泛的数值实验，并与经典推断方法进行了比较。结果表明，使用常数步长具有易于超参数调优、快速收敛以及始终更优的置信区间覆盖率的优点，尤其是在数据有限的情况下。
引用
@article{arxiv.2312.10894,
title = {Effectiveness of Constant Stepsize in Markovian LSA and Statistical Inference},
author = {Dongyan Huo and Yudong Chen and Qiaomin Xie},
journal= {arXiv preprint arXiv:2312.10894},
year = {2023}
}
备注
AAAI 2024