基于自适应任务调度器的元学习
机器学习
2021-10-28 v1
摘要
为使新任务的学习受益，元学习被提出以迁移从多种元训练任务中学得的良好泛化元模型。现有元学习算法以均匀概率随机采样元训练任务，其假设是各任务同等重要。然而，在给定有限数量的元训练任务时，任务很可能带有噪声或存在不平衡而有害。为防止元模型被此类有害任务破坏，或被多数类任务主导，本文提出一种用于元训练过程的自适应任务调度器（ATS）。在 ATS 中，我们首次设计了一个神经调度器，通过预测每个候选任务的采样概率来决定下一步使用哪些元训练任务，并训练该调度器以优化元模型对未知任务的泛化能力。我们确定了两个与元模型相关的因素作为神经调度器的输入，它们刻画了候选任务对元模型的难度。理论上，我们证明了考虑这两个因素的调度器能改善元训练损失及优化地形。在含噪声且预算有限的元学习设定下，与最先进的任务调度器相比，ATS 在 miniImageNet 和真实世界药物发现基准上分别将性能提升了多达 13% 和 18%。
引用
@article{arxiv.2110.14057,
title = {Meta-learning with an Adaptive Task Scheduler},
author = {Huaxiu Yao and Yu Wang and Ying Wei and Peilin Zhao and Mehrdad Mahdavi and Defu Lian and Chelsea Finn},
journal= {arXiv preprint arXiv:2110.14057},
year = {2021}
}
备注
Accepted by NeurIPS 2021