NASIB：预算内神经架构搜索
机器学习
2019-10-22 v1 计算机视觉与模式识别
机器学习
摘要
神经架构搜索（NAS）是一类生成最优神经网络架构的方法，通常在某些特定度量（如验证损失）上迭代候选架构直至收敛。它们受可用计算资源的约束，尤其在企业的环境中。本文中，我们提出一种名为NASIB的NAS新方法，它通过调节探索与利用的权衡来适应并利用可用的计算资源（预算）。我们通过搜索由Superkernels诱导的扩充搜索空间来减少专家偏差。所提方法可提供有益于不同计算资源及不同领域的架构搜索，超越缺乏定制架构基元和领域专业知识的自然图像分类。我们在CIFAR10上表明，仅用1.5个GPU天即可在比传统先验艺术多12倍候选操作的空间中搜索，同时达到接近SOTA的精度。尽管我们的方法在指数级更大的搜索空间上搜索，与多数现有方法相比，其可得到需要更少领域专业知识的全新架构。
引用
@article{arxiv.1910.08665,
title = {NASIB: Neural Architecture Search withIn Budget},
author = {Abhishek Singh and Anubhav Garg and Jinan Zhou and Shiv Ram Dubey and Debo Dutta},
journal= {arXiv preprint arXiv:1910.08665},
year = {2019}
}