MAML 与 ANIL 可证明地学习表征
机器学习
2023-06-06 v2
摘要
近期的经验证据使传统观点相信，基于梯度的元学习 (GBML) 方法在少样本学习上表现良好，是因为它们学习了跨任务共享的富有表现力的数据表征。然而，从理论视角看，GBML 的机制在很大程度上仍神秘莫测。在本文中，我们证明两种著名的 GBML 方法 MAML 和 ANIL，以及它们的一阶近似，能够在一组给定任务中学习公共表征。具体而言，在著名的多任务线性表征学习设定中，它们能以指数级快速率恢复真实表征。此外，我们的分析阐明，导致 MAML 和 ANIL 恢复底层表征的驱动力在于它们调整了模型的最终层，从而利用底层任务多样性在所有关注方向上改进表征。据我们所知，这些是首项表明 MAML 和/或 ANIL 学习富有表现力的表征并严格解释其缘由的结果。
引用
@article{arxiv.2202.03483,
title = {MAML and ANIL Provably Learn Representations},
author = {Liam Collins and Aryan Mokhtari and Sewoong Oh and Sanjay Shakkottai},
journal= {arXiv preprint arXiv:2202.03483},
year = {2023}
}