ASAP：架构搜索、退火与剪枝
机器学习
2019-10-11 v2 机器学习
摘要
神经架构搜索（NAS）的自动方法已被证明可生成最先进的网络模型。然而，其主要缺点是搜索过程的计算复杂性。由于一些原始方法在离散搜索空间上优化，需要数千 GPU 天才能收敛。近期的一种方法是基于构建可微分搜索空间以实现基于梯度的优化，将搜索时间缩短至数天。尽管成功，它仍包含一些非连续步骤，例如一次性剪枝许多弱连接。本文中，我们提出一种可微分搜索空间，允许对架构权重进行退火，同时逐步剪枝劣质操作。以此方式，搜索以连续方式收敛至单一输出网络。在多个视觉数据集上的实验证明了我们的方法在搜索成本与所得模型精度方面的有效性。具体而言，以 GPU 搜索天，我们在 CIFAR-10 上达到了 的错误率。
引用
@article{arxiv.1904.04123,
title = {ASAP: Architecture Search, Anneal and Prune},
author = {Asaf Noy and Niv Nayman and Tal Ridnik and Nadav Zamir and Sivan Doveh and Itamar Friedman and Raja Giryes and Lihi Zelnik-Manor},
journal= {arXiv preprint arXiv:1904.04123},
year = {2019}
}