从表示学习视角看元学习中训练-验证划分的重要性
机器学习
2021-06-30 v1 人工智能
摘要
元学习中的一种有效方法是利用多个“训练任务”学习模型参数的良好初始化，从而可通过从该初始化微调、以极少样本解决未见过的“测试任务”。尽管在实践中成功，此类方法的理论理解仍有限。本工作研究这些方法的一个重要方面：元训练期间将每任务数据划分为训练（支持）与验证（查询）集。受近期工作（Raghu et al., 2020）启发，我们通过表示学习的视角审视此类元学习方法，并论证训练-验证划分促使所学表示低秩而不损及表达力，而非划分变体则促使高秩表示。由于样本效率受益于低秩性，划分策略将仅需极少样本即可解决未见测试任务。我们给出理论结果，在子空间元学习实例的线性表示学习上形式化该思想，并在模拟与标准元学习基准上实验验证划分的这一实际益处。
引用
@article{arxiv.2106.15615,
title = {A Representation Learning Perspective on the Importance of Train-Validation Splitting in Meta-Learning},
author = {Nikunj Saunshi and Arushi Gupta and Wei Hu},
journal= {arXiv preprint arXiv:2106.15615},
year = {2021}
}
备注
In proceedings of ICML 2021