线性反问题中随机梯度下降的饱和现象
最优化与控制
2021-08-10 v2 数值分析
数值分析
摘要
随机梯度下降（SGD）因其对数据规模极佳的可扩展性，是解决大规模反问题的一种有前景的方法。当前正则化理论视角下的数学理论预测，具有多项式衰减步长计划的 SGD 可能遭受不良的饱和现象，即收敛速率在解正则性指数超出某范围后不再随其改善。本工作中，我们给出 SGD 的精细化收敛速率分析，并证明若计划的初始步长足够小，饱和实际不会发生。提供了若干数值实验以补充该分析。
引用
@article{arxiv.2010.10916,
title = {On the Saturation Phenomenon of Stochastic Gradient Descent for Linear Inverse Problems},
author = {Bangti Jin and Zehui Zhou and Jun Zou},
journal= {arXiv preprint arXiv:2010.10916},
year = {2021}
}
备注
to appear at SIAM/ASA J. Uncertainty Quantification, with error corrected