用于少样本学习的神经架构元学习
机器学习
2021-06-15 v3 机器学习
摘要
神经架构搜索（NAS）近期的进展已能将神经架构的自动化设计扩展到目标检测与语义分割等现实领域。然而，NAS 应用的一个先决条件是大量标注数据与计算资源。这使其在许多相关任务需被学习、且每任务数据与计算时间均有限的少样本学习场景中难以应用。因此，少样本学习通常以固定神经架构进行。为改进这一点，我们提出 MetaNAS，首个将 NAS 与基于梯度的元学习完全整合的方法。MetaNAS 在元训练期间优化元架构与元权重。在元测试期间，架构可通过任务优化器的几步更新适配新任务，即：任务适配计算开销低且每任务仅需少量数据。此外，MetaNAS 具有不可知性，可与任意模型不可知元学习算法及任意基于梯度的 NAS 方法配合使用。在标准少样本分类基准上的实证结果表明，结合 DARTS 与 REPTILE 的 MetaNAS 取得了最先进的（SOTA）结果。
引用
@article{arxiv.1911.11090,
title = {Meta-Learning of Neural Architectures for Few-Shot Learning},
author = {Thomas Elsken and Benedikt Staffler and Jan Hendrik Metzen and Frank Hutter},
journal= {arXiv preprint arXiv:1911.11090},
year = {2021}
}