具有保证的学习调参参数的元策略
机器学习
2021-11-15 v3 机器学习
统计理论
统计计算
统计理论
摘要
在线学习方法，如在线梯度算法（OGA）和指数加权聚合（EWA），通常依赖于在实践中难以设置的调参参数。我们考虑一种在线元学习场景，并提出一种元策略以从过往任务中学习这些参数。我们的策略基于对遗憾界（regret bound）的最小化。它允许在具有保证的前提下学习 OGA 中的初始化和步长，也允许学习 EWA 中的先验或学习率。我们给出了该策略的遗憾分析。它使得我们能够识别元学习确实优于孤立地学习每个任务的设定。
引用
@article{arxiv.2102.02504,
title = {Meta-strategy for Learning Tuning Parameters with Guarantees},
author = {Dimitri Meunier and Pierre Alquier},
journal= {arXiv preprint arXiv:2102.02504},
year = {2021}
}