通过从数据集学习生成图实现快速神经架构搜索
机器学习
2021-07-05 v1 计算机视觉与模式识别
摘要
尽管最近的 Neural Architecture Search (NAS) 方法在各种任务上取得成功,其输出的网络大幅超越人类设计的网络,但传统 NAS 方法大多解决了针对单一任务(数据集)搜索网络架构的优化问题,不能很好地泛化到多个任务(数据集)。此外,由于此类任务特定方法对每个给定任务都从零开始搜索神经架构,它们产生了巨大的计算成本,在时间与经济预算有限时成问题。本文提出一种高效 NAS 框架,该框架在由数据集与预训练网络构成的数据库上训练一次,即可为新数据集快速搜索神经架构。所提出的 MetaD2A (Meta Dataset-to-Architecture) 模型可通过经 amortized meta-learning 学习的跨模态潜空间,从给定集合(数据集)随机生成图(架构)。此外,我们还提出了一种元性能预测器,用于在不直接在目标数据集上训练的情况下估计并选择最佳架构。实验结果表明,我们的模型在 ImageNet-1K 子集和来自 NAS-Bench 201 搜索空间的架构上元学习后,成功泛化到包括 CIFAR-10 和 CIFAR-100 在内的多个未见数据集,平均搜索时间为 33 GPU 秒。即使在 MobileNetV3 搜索空间下,MetaD2A 比可迁移 NAS 方法 NSGANetV2 快 5.5K 倍,且性能相当。我们相信 MetaD2A 为快速 NAS 提出了新的研究方向,也提供了利用过去多年积累的丰富数据集与架构数据库知识的方式。代码见 https://github.com/HayeonLee/MetaD2A。
引用
@article{arxiv.2107.00860,
title = {Rapid Neural Architecture Search by Learning to Generate Graphs from Datasets},
author = {Hayeon Lee and Eunyoung Hyung and Sung Ju Hwang},
journal= {arXiv preprint arXiv:2107.00860},
year = {2021}
}
备注
ICLR 2021