面向混合线性回归的元学习
机器学习
2020-02-21 v1 机器学习
摘要
在现代监督学习中，存在大量任务，但其中许多任务仅关联少量标注数据。这些包括来自医学图像处理和机器人交互的数据。尽管单个任务在孤立状态下无法得到有意义的训练，人们仍试图通过利用某些相似性，从过往经验中跨任务进行元学习。我们研究一个基本的有趣问题：当大量小数据任务能否弥补缺少大数据任务的不足？我们聚焦于一个典型场景，其中每个任务均从 个线性回归的混合中抽取，并给出了此类优雅替代成立的充分条件；仅使用小数据任务时所需的总样本数，与存在大数据任务时的规模相似。为此，我们引入一种新颖的谱方法，并表明在 个中等数据任务（每个含 个样本）的辅助下，我们可以高效地利用小数据任务。
引用
@article{arxiv.2002.08936,
title = {Meta-learning for mixed linear regression},
author = {Weihao Kong and Raghav Somani and Zhao Song and Sham Kakade and Sewoong Oh},
journal= {arXiv preprint arXiv:2002.08936},
year = {2020}
}