EAT-NAS：用于加速大规模神经架构搜索的弹性架构迁移
计算机视觉与模式识别
2019-03-26 v3
摘要
神经架构搜索（NAS）方法已被提出以将人类专家从繁琐的架构工程中解放出来。然而，由于计算资源问题，当前大多数方法受限于小规模搜索。同时，直接将在小数据集上搜索得到的架构应用于大数据集往往无法保证性能。这一限制阻碍了 NAS 在大规模任务上的广泛应用。为克服该障碍，我们提出了一种用于加速大规模神经架构搜索的弹性架构迁移机制（EAT-NAS）。在我们的实现中，架构首先在小型数据集（如 CIFAR-10）上搜索，选取最优者作为基础架构。在大型数据集（如 ImageNet）上的搜索过程以该基础架构为种子进行初始化。大规模搜索过程借助基础架构得以加速。我们提出的不仅是一种 NAS 方法，更是一种架构级迁移机制。在实验中，我们得到两个最终模型 EATNet-A 和 EATNet-B，分别在 ImageNet 上达到 74.7% 和 74.2% 的具竞争力准确率，也超越了在相同设置下从零开始在 ImageNet 上搜索的模型。在计算成本方面，EAT-NAS 在 8 块 TITAN X GPU 上仅耗时不到 5 天，显著少于最先进大规模 NAS 方法的计算消耗。
引用
@article{arxiv.1901.05884,
title = {EAT-NAS: Elastic Architecture Transfer for Accelerating Large-scale Neural Architecture Search},
author = {Jiemin Fang and Yukang Chen and Xinbang Zhang and Qian Zhang and Chang Huang and Gaofeng Meng and Wenyu Liu and Xinggang Wang},
journal= {arXiv preprint arXiv:1901.05884},
year = {2019}
}