概率化神经架构搜索
机器学习
2019-02-15 v1 机器学习
摘要
在神经架构搜索（NAS）中，自动探索神经网络架构空间以最大化给定任务的预测精度。尽管近期方法取得了成功，大多数现有方法因其高昂的计算复杂度或高内存占用而无法直接应用于大规模问题。本工作中，我们提出一种概率化神经架构搜索（PARSEC）方法，在保持最先进计算复杂度的同时大幅降低内存需求，使得直接搜索更复杂架构和更大数据集成为可能。我们的方法所需内存仅相当于训练搜索空间中单一架构所需。这得益于一种内存高效的采样过程，其中我们学习高性能神经网络架构上的概率分布。重要的是，该框架使我们能将较小问题上习得的架构分布迁移到较大问题上，进一步降低计算成本。我们在 CIFAR-10 和 ImageNet 上的应用展示了本方法的优势：其性能优于计算成本为其两倍的方法，并与成本高三个数量级的方法相匹配。
引用
@article{arxiv.1902.05116,
title = {Probabilistic Neural Architecture Search},
author = {Francesco Paolo Casale and Jonathan Gordon and Nicolo Fusi},
journal= {arXiv preprint arXiv:1902.05116},
year = {2019}
}