少样本神经架构搜索
机器学习
2024-08-13 v9 神经与进化计算
摘要
从大型搜索空间中抽取的网络架构的高效评估仍是神经架构搜索（NAS）中的关键挑战。朴素 NAS 通过从头训练评估每个架构，这给出真实性能但极其耗时。近来，一次性 NAS 仅训练一个超网络（亦称 supernet），借助权重共享来近似搜索空间中每个架构的性能，从而大幅降低计算成本。然而，由于操作间的共适应，性能估计可能非常不准确。在本文中，我们提出少样本 NAS，其使用多个覆盖搜索空间不同区域的超网络（称为子超网络）以缓解不良的共适应。与一次性 NAS 相比，少样本 NAS 以较小的评估成本增加改善了架构评估的准确性。仅使用至多 7 个子超网络，少样本 NAS 确立了新的 SOTA：在 ImageNet 上，它发现的模型在 600 MB FLOPS 下达到 80.5% top-1 精度、在 238 MFLOPS 下达到 77.5% top-1 精度；在 CIFAR10 上，它达到 98.72% top-1 精度且未使用额外数据或迁移学习。在 Auto-GAN 中，少样本 NAS 比先前发表的结果高出至多 20%。大量实验表明，少样本 NAS 显著改进了多种一次性方法，包括 NasBench-201 和 NasBench1-shot-1 中 3 个不同任务上的 4 种基于梯度和 6 种基于搜索的方法。
引用
@article{arxiv.2006.06863,
title = {Few-shot Neural Architecture Search},
author = {Yiyang Zhao and Linnan Wang and Yuandong Tian and Rodrigo Fonseca and Tian Guo},
journal= {arXiv preprint arXiv:2006.06863},
year = {2024}
}