流随机梯度下降的收敛性与推断及其在排队系统与库存控制中的应用
最优化与控制
2025-09-03 v3
摘要
流随机梯度下降（stream SGD）是运筹学（OR）中求解在线优化问题的一种简单高效方法，其中数据由参数依赖的马尔可夫链生成。不同于传统方法在迭代中需要增大批量大小，流SGD每次迭代仅使用单个样本，显著提升了样本效率。本文利用泊松方程解来处理梯度偏差与统计依赖性，建立了分析流SGD的系统框架。我们证明了最优的O(1/T)收敛速率与当前最优的O(log T)遗憾值，同时引入了一种用于不确定性量化的在线推断方法，并通过新的泛函中心极限定理予以支撑。我们提出了一种新型Wasserstein型散度来描述该框架的条件，使得相关假设可通过针对底层OR模型定制的耦合技术直接验证。我们考虑了在排队系统与库存管理中的应用，展示了其实用性与广泛相关性，并为流SGD在OR领域的有效性提供了新见解。
引用
@article{arxiv.2309.09545,
title = {Convergence and Inference of Stream SGD, with Applications to Queueing Systems and Inventory Control},
author = {Xiang Li and Jiadong Liang and Xinyun Chen and Zhihua Zhang},
journal= {arXiv preprint arXiv:2309.09545},
year = {2025}
}