一种计算复杂度更低的新型简单随机梯度下降类双层优化算法
最优化与控制
2023-06-21 v1
摘要
双层优化已广泛应用于许多机器学习应用，如超参数优化和元学习。近来，许多简单随机梯度下降（SGD）类算法（不使用动量和方差技术）被提出以求解双层优化问题。然而，所有现有的简单SGD类算法均通过 Neumann 级数的随机估计来估计超梯度。在本文中，我们提出通过基于SGD的估计（即用SGD求解线性系统）来估计超梯度。利用热启动初始化策略，提出了一种基于SGD估计的新型简单SGD类算法SSGD。我们提供了SSGD的收敛速率保证，并表明SSGD优于现有简单SGD类算法所达到的最佳已知计算复杂度。我们的实验验证了理论结果，并展示了所提算法SSGD在超参数优化应用中的效率。
引用
@article{arxiv.2306.11211,
title = {A New Simple Stochastic Gradient Descent Type Algorithm With Lower Computational Complexity for Bilevel Optimization},
author = {Haimei Huo and Risheng Liu and Zhixun Su},
journal= {arXiv preprint arXiv:2306.11211},
year = {2023}
}
备注
submitted to TNNLS; in the second round of review