渐进式神经架构搜索
计算机视觉与模式识别
2018-07-30 v3 机器学习
机器学习
摘要
我们提出了一种学习卷积神经网络（CNNs）结构的新方法，其效率高于近期基于强化学习和进化算法的先进方法。我们的方法采用序贯模型基优化（SMBO）策略，按复杂度递增的顺序搜索结构，同时学习一个代理模型以引导在结构空间中的搜索。在相同搜索空间下的直接比较表明，就评估的模型数量而言，我们的方法比 Zoph 等人（2018）的强化学习方法高效多达 5 倍，就总计算量而言快 8 倍。我们以这种方式发现的结构在 CIFAR-10 和 ImageNet 上达到了最先进的分类准确率。
引用
@article{arxiv.1712.00559,
title = {Progressive Neural Architecture Search},
author = {Chenxi Liu and Barret Zoph and Maxim Neumann and Jonathon Shlens and Wei Hua and Li-Jia Li and Li Fei-Fei and Alan Yuille and Jonathan Huang and Kevin Murphy},
journal= {arXiv preprint arXiv:1712.00559},
year = {2018}
}
备注
To appear in ECCV 2018 as oral. The code and checkpoint for PNASNet-5 trained on ImageNet (both Mobile and Large) can now be downloaded from https://github.com/tensorflow/models/tree/master/research/slim#Pretrained. Also see https://github.com/chenxi116/PNASNet.TF for refactored and simplified TensorFlow code; see https://github.com/chenxi116/PNASNet.pytorch for exact conversion to PyTorch