NAAP-440 数据集与神经架构精度预测基线
计算机视觉与模式识别
2022-09-29 v3 机器学习
神经与进化计算
摘要
神经架构搜索（NAS）已成为为不同目标平台与目的开发和发现新神经架构的常用方法。然而，扫描搜索空间包含许多候选架构的漫长训练过程，这在计算资源和时间上代价高昂。回归算法是预测候选架构精度的常用工具，可大幅加速搜索过程。我们旨在提出一个新的基线，以支持开发仅从架构方案或仅训练极少轮数即可预测架构精度的回归算法。因此，我们引入了 NAAP-440 数据集，包含 440 个在 CIFAR10 上使用固定方案训练的神经架构。我们的实验表明，通过使用现成回归算法并运行至多 10% 的训练过程，不仅可较为精确地预测架构精度，而且为各架构预测的值也保持精度排序，且仅极少单调性违背。该方法可作为加速基于 NAS 的研究的有力工具，从而大幅提升其效率。研究中使用的数据集与代码已公开。
引用
@article{arxiv.2209.06626,
title = {NAAP-440 Dataset and Baseline for Neural Architecture Accuracy Prediction},
author = {Tal Hakim},
journal= {arXiv preprint arXiv:2209.06626},
year = {2022}
}