一阶 ANIL 在过参数化下可证明地学习表征
机器学习
2024-07-24 v3 机器学习
摘要
由于其少样本分类与强化学习中的经验成功，元学习近期受到显著关注。元学习方法利用以往任务的数据以样本高效的方式学习新任务。特别地，与模型无关的方法寻找初始化点，从中梯度下降可快速适应任意新任务。尽管经验上认为此类方法通过在预训练中学习共享表征而表现良好，但对此行为的理论证据有限。更重要的是，尚未证明这些方法在架构设定有误时仍学习共享结构。在此方向上，本工作表明，在任务数趋于无穷的极限下，具有线性两层网络架构的一阶 ANIL 成功学习线性共享表征。该结果即便在过参数化下也成立；宽度大于共享表征的维数会导致渐近低秩解。所学解在单步梯度更新后对任意新任务产生良好的适应性能。总体而言，这阐明了如的一阶 ANIL 等与模型无关的方法如何能学习共享表征。
引用
@article{arxiv.2303.01335,
title = {First-order ANIL provably learns representations despite overparametrization},
author = {Oğuz Kaan Yüksel and Etienne Boursier and Nicolas Flammarion},
journal= {arXiv preprint arXiv:2303.01335},
year = {2024}
}
备注
42 pages, 17 figures