多低方差任务的在线无参数学习
机器学习
2020-07-14 v1 机器学习
摘要
我们提出一种方法，用于学习不断增长的低方差任务序列的通用偏置向量。与最先进方法不同，我们的方法无需调整任何超参数。我们的方法在非统计设定下提出，并可有两种变体。“激进”变体在每个数据点后更新偏置，“懒惰”变体仅在每个任务结束时更新偏置。我们推导了该方法的跨任务 regret 界。与最先进方法相比，激进变体给出更快的速率，懒惰变体恢复标准速率，但无需调参。随后我们将方法适配到统计设定：激进变体成为多任务学习方法，懒惰变体成为元学习方法。实验证实了我们的方法在实际中的有效性。
引用
@article{arxiv.2007.05732,
title = {Online Parameter-Free Learning of Multiple Low Variance Tasks},
author = {Giulia Denevi and Dimitris Stamos and Massimiliano Pontil},
journal= {arXiv preprint arXiv:2007.05732},
year = {2020}
}