投影随机逼近中的渐近行为与相变：一种跳跃扩散方法
最优化与控制
2023-04-26 v1 机器学习
摘要
本文考虑线性约束优化问题，并提出一种无循环投影随机逼近（LPSA）算法。该算法在第 次迭代以概率 执行投影以保证可行性。针对概率 与步长 的一特定族，我们从渐近与连续的角度分析该算法。利用一种新颖的跳跃扩散近似，我们证明了连接那些适当重标度的末次迭代的轨迹弱收敛于特定随机微分方程（SDEs）的解。通过分析 SDEs，我们辨识出 LPSA 对于不同 选择的渐近行为。我们发现，根据 相对于 的相对大小，该算法呈现出引人入胜的渐近偏差-方差权衡并产生相变现象。该发现为选取合适的 以最小化投影代价提供了见解。此外，我们提出去偏 LPSA（DLPSA）作为跳跃扩散近似结果的一个实际应用。结果表明，与原始 LPSA 相比，DLPSA 能有效降低投影复杂度。
引用
@article{arxiv.2304.12953,
title = {Asymptotic Behaviors and Phase Transitions in Projected Stochastic Approximation: A Jump Diffusion Approach},
author = {Jiadong Liang and Yuze Han and Xiang Li and Zhihua Zhang},
journal= {arXiv preprint arXiv:2304.12953},
year = {2023}
}