FTSO：基于先拓扑后算子的高效神经架构搜索
计算机视觉与模式识别
2023-03-24 v1 机器学习
摘要
现有的一次性神经架构搜索（NAS）方法不得不在巨大的超网（super-net）上进行搜索，导致巨大的计算成本。为降低该成本，本文提出一种称为 FTSO 的方法，将整体架构搜索划分为两个子步骤。具体而言，第一步仅搜索拓扑，第二步搜索算子。FTSO 不仅将 NAS 的搜索时间从数天缩短至 0.68 秒，还显著提升了所发现架构的准确率。我们在 ImageNet 上的大量实验表明，在 18 秒内，FTSO 可达到 76.4% 的测试准确率，比 SOTA 方法 PC-DARTS 高 1.5%。此外，在 CIFAR10 上搜索时，FTSO 可达到 97.77% 的测试准确率，比 SOTA 高 0.27%，且节省了近 100%（99.8%）的搜索时间。
引用
@article{arxiv.2303.12948,
title = {FTSO: Effective NAS via First Topology Second Operator},
author = {Likang Wang and Lei Chen},
journal= {arXiv preprint arXiv:2303.12948},
year = {2023}
}