在单一目标域上元学习可迁移表示
机器学习
2020-11-04 v1
摘要
近期的研究发现，微调（fine-tuning）和联合训练（joint training）——两种流行的迁移学习方法——并不总能提升下游任务的准确率。首先，我们旨在进一步理解微调与联合训练何时以及为何对迁移学习次优甚至有害。我们设计了半合成数据集，其中源任务可通过源特定特征或可迁移特征来求解。我们观察到：（1）预训练可能缺乏学习可迁移特征的激励；（2）联合训练可能同时学习源特定特征并对目标过拟合。其次，为改进微调与联合训练，我们提出元表示学习（MeRLin）以学习可迁移特征。MeRLin 通过确保使用目标训练数据在表示之上拟合的分类头在目标验证数据上同样表现良好来进行表示的元学习。我们还证明，在二次神经网参数化以及包含可迁移与源特定特征的源分布下，MeRLin 可恢复目标真实模型。在同一分布下，预训练与联合训练被证明无法学习可迁移特征。MeRLin 在多个真实世界视觉与 NLP 迁移学习基准上经验性地优于以往最先进的迁移学习算法。
引用
@article{arxiv.2011.01418,
title = {Meta-learning Transferable Representations with a Single Target Domain},
author = {Hong Liu and Jeff Z. HaoChen and Colin Wei and Tengyu Ma},
journal= {arXiv preprint arXiv:2011.01418},
year = {2020}
}