通过元学习改进预训练
机器学习
2021-11-03 v1
摘要
预训练（PT）后接微调（FT）是训练神经网络的有效方法，已在许多领域带来显著的性能提升。预训练可以融入多种设计选择，例如任务与数据重加权策略、数据增强策略和噪声模型，这些都会显著影响所学表示的质量。因此，这些策略引入的超参数必须被适当调整。然而，设定这些超参数的值具有挑战性。现有方法大多要么难以扩展到高维，要么速度太慢且内存消耗大，要么无法直接应用于两阶段的预训练和微调学习过程。在这项工作中，我们提出了一种高效的、基于梯度的算法来元学习预训练超参数。我们形式化了预训练超参数优化问题，并提出了一种新颖的方法，通过结合隐式微分和展开优化中的反向传播来获得预训练超参数梯度。我们证明了我们的方法在两个真实世界领域上提升了预测性能。首先，我们为蛋白质-蛋白质相互作用图上的多任务预训练优化了高维任务加权超参数，将AUROC提升了高达3.9%。其次，我们为使用SimCLR的心电图数据自监督预训练优化了一个数据增强神经网络，将AUROC提升了高达1.9%。
引用
@article{arxiv.2111.01754,
title = {Meta-Learning to Improve Pre-Training},
author = {Aniruddh Raghu and Jonathan Lorraine and Simon Kornblith and Matthew McDermott and David Duvenaud},
journal= {arXiv preprint arXiv:2111.01754},
year = {2021}
}
备注
NeurIPS 2021