学习何处寻找——生成式 NAS 出奇高效
机器学习
2022-08-02 v2 计算机视觉与模式识别
摘要
近年来，对性能良好神经架构（NAS）的高效自动化搜索引起了越来越多的关注。其中，主要的研究目标是在高效探索大型搜索空间的同时，减少对神经架构昂贵评估的需求。为此，代理模型将架构嵌入潜空间并预测其性能，而神经架构的生成模型使得可在生成器所抽取的潜空间内进行基于优化的搜索。代理模型与生成模型都旨在促进在结构良好的潜空间中进行查询高效的搜索。本文通过结合高效代理模型与生成式设计的优势，进一步改善了查询效率与有前景架构生成之间的权衡。为此，我们提出了一种配对代理预测器的生成模型，其迭代地学习从愈发有前景的潜子空间中生成样本。该方法实现了非常有效且高效的架构搜索，同时保持较低的查询量。此外，我们的方法能以直接的方式联合优化多个目标，如准确率与硬件延迟。我们展示了该方法不仅在高分类准确率架构优化上的益处，也在硬件约束背景下具有优势，并在多个单目标与多目标 NAS 基准上优于 state-of-the-art 方法。我们还在 ImageNet 上取得了 state-of-the-art 性能。代码见 http://github.com/jovitalukasik/AG-Net。
引用
@article{arxiv.2203.08734,
title = {Learning Where To Look -- Generative NAS is Surprisingly Efficient},
author = {Jovita Lukasik and Steffen Jung and Margret Keuper},
journal= {arXiv preprint arXiv:2203.08734},
year = {2022}
}
备注
Accepted to European Conference on Computer Vision 2022