一种用于神经架构搜索的通用可迁移性能预测器
机器学习
2023-04-19 v1
摘要
理解与建模神经架构的性能是神经架构搜索（NAS）的关键。性能预测器已在低成本 NAS 中得到广泛使用，并在多个 NAS 基准上实现了预测性能与真实性能之间的高排序相关性。然而，现有预测器通常基于针对预定义搜索空间特定的网络编码进行设计，因此无法泛化到其他搜索空间或新的架构族。本文中，我们提出一种可用于 NAS 的通用神经预测器，其通过将任意给定候选卷积神经网络（CNN）表示为由基本算子构成的计算图（CG），实现跨搜索空间的迁移。我们进一步将 CG 网络表示与对比学习（CL）相结合，提出一种图表示学习流程，利用来自多个架构族的无标签架构的结构信息来训练用于性能预测器的 CG 嵌入。在 NAS-Bench-101、201 和 301 上的实验结果表明了我们方案的有效性：我们在每个搜索空间上都取得了较强的正 Spearman 排序相关系数（SRCC），优于若干同样可跨搜索空间泛化的零成本代理（Zero-Cost Proxies），包括 Synflow 和 Jacov。此外，当在进化神经架构搜索算法中使用我们提出的通用预测器时，我们能在 NAS-Bench-101 上找到高性能架构，并找到一个在 ImageNet 上达到 79.2% top-1 准确率的 MobileNetV3 架构。
引用
@article{arxiv.2302.10835,
title = {A General-Purpose Transferable Predictor for Neural Architecture Search},
author = {Fred X. Han and Keith G. Mills and Fabian Chudak and Parsa Riahi and Mohammad Salameh and Jialin Zhang and Wei Lu and Shangling Jui and Di Niu},
journal= {arXiv preprint arXiv:2302.10835},
year = {2023}
}
备注
Accepted to SDM2023; version includes supplementary material; 12 Pages, 3 Figures, 6 Tables