GreedyNAS：面向快速单阶段神经架构搜索的贪心超网方法
计算机视觉与模式识别
2020-03-26 v1 神经与进化计算
摘要
训练超网对于单阶段神经架构搜索（NAS）方法至关重要，因为它作为不同架构（路径）的基本性能估计器。当前方法主要假设超网应对所有路径给出合理的排序，因而平等对待所有路径，并耗费大量精力训练路径。然而，让单个超网在如此庞大的搜索空间（例如 ）上准确评估是苛刻的。本文中，我们不再覆盖所有路径，而是通过鼓励超网更专注于评估那些潜在优良的架构来减轻其负担，这些架构使用一部分代理验证数据来识别。具体而言，在训练过程中，我们提出一种带拒绝的多路径采样策略，并贪心地过滤掉弱路径。由于训练空间已从所有路径贪心收缩至那些潜在优良的路径，训练效率得以提升。此外，我们通过引入一个经验候选路径池，进一步采用探索与利用策略。我们提出的 GreedyNAS 方法易于实现，在 ImageNet 数据集上的实验结果表明，在相同搜索空间和 FLOPs 或延迟水平下，它可达到更好的 Top-1 准确率，而超网训练成本仅为约 60%。通过在更大空间上搜索，我们的 GreedyNAS 还能获得新的最先进架构。
引用
@article{arxiv.2003.11236,
title = {GreedyNAS: Towards Fast One-Shot NAS with Greedy Supernet},
author = {Shan You and Tao Huang and Mingmin Yang and Fei Wang and Chen Qian and Changshui Zhang},
journal= {arXiv preprint arXiv:2003.11236},
year = {2020}
}
备注
To appear in CVPR 2020