EvoGrad：基于梯度的元学习与超参数优化高效方法
机器学习
2021-10-28 v2 神经与进化计算
机器学习
摘要
基于梯度的元学习与超参数优化近来取得显著进展，使得神经网络与众多超参数的端到端联合训练成为可能。然而，现有方法相对昂贵，因为它们需要计算二阶导并存储更长的计算图。这一代价阻碍了它们向更大网络架构的扩展。我们提出 EvoGrad，一种借鉴演化技术以更高效计算超梯度（hypergradient）的元学习新方法。EvoGrad 在不计算二阶梯度或存储更长计算图的情况下估计关于超参数的超梯度，从而带来效率的显著提升。我们在三个近期重要的元学习应用上评估 EvoGrad，即带特征变换的跨域少样本学习、使用 Meta-Weight-Net 的含噪标签学习，以及使用元表示变换的低资源跨语言学习。结果表明，EvoGrad 显著提高了效率，并使元学习可扩展至更大架构，例如从 ResNet10 到 ResNet34。
引用
@article{arxiv.2106.10575,
title = {EvoGrad: Efficient Gradient-Based Meta-Learning and Hyperparameter Optimization},
author = {Ondrej Bohdal and Yongxin Yang and Timothy Hospedales},
journal= {arXiv preprint arXiv:2106.10575},
year = {2021}
}
备注
Accepted at NeurIPS 2021