基于韩克-拉鲁斯 heuristic rule 的迭代正则化随机梯度下降法
数值分析
2025-09-09 v3 数值分析
偏微分方程分析
经典分析与常微分方程
泛函分析
摘要
过去十年间，随机算法因在每次迭代中随机选择方程子集，已成为解决大规模病态反问题高效且可扩展的工具。然而，由于病态性和测量噪声，这些方法常常出现振荡和半收敛现象，给实现稳定且准确的重构带来了挑战。本文提出了一种新型的随机梯度下降（SGD）变体，即迭代正则化随机梯度下降法（IRSGD），以解决希尔伯特空间中的非线性病态问题。在标准假设下，我们证明了该方法对准确数据时，均方迭代误差趋于零。在噪声数据情况下，本文首先提出一种启发式参数选择规则（HPCR），随后将IRSGD方法与HPCR结合应用。准确地说，HPCR无需事先了解噪声水平信息，即可选择正则化参数。我们展示该方法在噪声数据情况下会在无限步数停止，并且具有正则化特征。最后，进行一些数值实验以展示该方法的实际有效性。
引用
@article{arxiv.2412.02397,
title = {Hanke-Raus heuristic rule for iteratively regularized stochastic gradient descent},
author = {Harshit Bajpai and Gaurav Mittal and Ankik Kumar Giri},
journal= {arXiv preprint arXiv:2412.02397},
year = {2025}
}