GAGA：广义自步正则化器年龄路径的解析算法
机器学习
2022-09-26 v2 最优化与控制
摘要
如今自步学习（SPL）是一种模仿人与动物认知过程的重要机器学习范式。SPL机制包含一个自步正则化器与一个逐渐增大的年龄参数，该参数在SPL中起着关键作用，但何处最优终止此过程仍不易确定。一个自然的想法是计算关于年龄参数的解路径（即年龄路径）。然而，当前的年龄路径算法要么局限于最简单的正则化器，要么缺乏坚实的理论理解以及计算效率。为应对此挑战，我们提出了一种新颖的广义年龄路径算法（GAGA），基于常微分方程（ODEs）与集合控制，面向各类自步正则化器的SPL，可学习关于一系列年龄参数的整个解谱。据我们所知，GAGA是首个处理广义自步正则化器年龄路径的精确路径跟踪算法。最后详细描述了经典SVM与Lasso的算法步骤。我们在真实数据集上展示了GAGA的性能，并发现我们的算法与竞争基线间存在可观的加速。
引用
@article{arxiv.2209.07063,
title = {GAGA: Deciphering Age-path of Generalized Self-paced Regularizer},
author = {Xingyu Qu and Diyang Li and Xiaohan Zhao and Bin Gu},
journal= {arXiv preprint arXiv:2209.07063},
year = {2022}
}
备注
33 pages. Published as a conference paper at NeurIPS 2022