基于双层非光滑优化的$\ell_p$超参数学习
最优化与控制
2021-12-20 v3
摘要
我们提出一种双层优化策略，用于选取非光滑正则化器()的最佳超参数值。所关注的自层优化问题以下层为一个非光滑、可能非凸的正则化问题。尽管非凸正则化器近年广受关注，且双层优化在超参数选取中颇具效用，但由于正则化器的困难性，此类双层问题的算法尚未得到研究。我们的贡献在于提出了首个带有理论保证的算法，用于寻找正则化监督学习问题的最佳超参数。具体而言，我们针对前述双层优化问题提出一种平滑型算法，并给出了该算法的理论收敛保证。事实上，由于迄今此类双层优化问题的最优性条件未知，我们推导了新的必要最优性条件，称为SB-KKT条件，并证明在若干温和假设下，所提算法生成的序列实际收敛于满足SB-KKT条件的点。如我们的数值对比(Bayesian optimization与grid search)所示，所提算法简单且可扩展。
引用
@article{arxiv.1806.01520,
title = {On $\ell_p$-hyperparameter Learning via Bilevel Nonsmooth Optimization},
author = {Takayuki Okuno and Akiko Takeda and Akihiro Kawana and Motokazu Watanabe},
journal= {arXiv preprint arXiv:1806.01520},
year = {2021}
}