在线学习中具有多学习率的 Lipschitz 自适应性
机器学习
2019-05-31 v2 机器学习
摘要
我们旨在设计自适应在线学习算法，以尽可能少的人工调参利用手头学习任务中可能存在的任何特殊结构。设计此类自适应算法的一个基本障碍是根据方差、梯度范数等校准所谓的步长或学习率超参数。一项近期技术有望通过并行维护多个学习率克服此困难。该技术已应用于在线凸优化的 MetaGrad 算法和专家建议预测的 Squint 算法。然而，在这两种情况下，用户仍须事先提供一个界定梯度范数的 Lipschitz 超参数。尽管该超参数通常无法事先获得，正确调参至关重要：若设得过小，方法可能完全失效；若取得过大，性能则显著恶化。在本工作中，我们通过设计自动适应其最优值的 MetaGrad 和 Squint 新版本，去除了该 Lipschitz 超参数。我们通过动态更新活跃学习率集合实现这一点。对于 MetaGrad，我们进一步提升了处理预测域约束的计算效率，并去除了事先指定轮次数的需要。
引用
@article{arxiv.1902.10797,
title = {Lipschitz Adaptivity with Multiple Learning Rates in Online Learning},
author = {Zakaria Mhammedi and Wouter M. Koolen and Tim van Erven},
journal= {arXiv preprint arXiv:1902.10797},
year = {2019}
}
备注
22 pages. To appear in COLT 2019