使用 Moreau-Yosida 正则化稳定双层超参数优化
机器学习
2020-07-28 v1 机器学习
摘要
本研究提出使用 Moreau-Yosida 包络来稳定双层超参数优化求解器的收敛行为，并引入了称为 Moreau-Yosida 正则化超参数优化（MY-HPO）算法的新算法。还提供了关于 MY-HPO 解的正确性的理论分析以及初步的收敛分析。我们的实证结果表明，在固定的计算预算下，与最先进的双层 HPO 求解器相比，损失值有显著改善。
引用
@article{arxiv.2007.13322,
title = {Stabilizing Bi-Level Hyperparameter Optimization using Moreau-Yosida Regularization},
author = {Sauptik Dhar and Unmesh Kurup and Mohak Shah},
journal= {arXiv preprint arXiv:2007.13322},
year = {2020}
}
备注
AutoML, Hyperparameter Optimization (HPO), Bi-Level Optimization, Alternating Direction Method of Multipliers (ADMM)