RAPDARTS：资源感知的渐进式可微架构搜索
机器学习
2019-11-14 v1
摘要
早期的神经网络架构由所谓的“研究生下降”设计。此后，神经架构搜索（NAS）领域得以发展，旨在以算法方式为感兴趣的数据集量身设计架构。近来，基于梯度的 NAS 方法被提出以快速执行搜索。与替代的 NAS 方法相比，基于梯度的方法对搜索施加了更多结构，从而实现更快的搜索阶段优化。在现实世界中，神经架构性能的衡量标准不止于高准确率。对高效神经架构的需求日益增长，其中模型大小或延迟等资源也必须被考虑。基于梯度的 NAS 同样适用于此类多目标优化。在本工作中，我们扩展了一种流行的基于梯度的 NAS 方法以支持一种或多种资源开销。随后，我们针对 CIFAR-10 分类中满足单资源约束的架构发现进行了深入分析。
引用
@article{arxiv.1911.05704,
title = {RAPDARTS: Resource-Aware Progressive Differentiable Architecture Search},
author = {Sam Green and Craig M. Vineyard and Ryan Helinski and Çetin Kaya Koç},
journal= {arXiv preprint arXiv:1911.05704},
year = {2019}
}