AdaTask：自适应多任务在线学习
机器学习
2023-10-30 v2
摘要
我们引入并分析了 AdaTask，一种适应任务未知结构的多任务在线学习算法。当 个任务被随机激活时，我们证明 AdaTask 的遗憾相比为每个任务运行 个独立算法所达到的遗憾更优，优因子最大可达 。AdaTask 可视为带马哈拉诺比斯范数势函数的 Follow-the-Regularized-Leader 的比较器自适应版本。通过该势函数的变分表述，我们的分析揭示了 AdaTask 如何联合学习任务及其结构。文中给出了支持我们发现的实验。
引用
@article{arxiv.2205.15802,
title = {AdaTask: Adaptive Multitask Online Learning},
author = {Pierre Laforgue and Andrea Della Vecchia and Nicolò Cesa-Bianchi and Lorenzo Rosasco},
journal= {arXiv preprint arXiv:2205.15802},
year = {2023}
}
备注
The proof of Theorem 3 is wrong: in the display equation below Equation (22), bottom of page 15, the gradient of $\phi_{t+1}$ is missing a factor $1/(\alpha\eta_t)$