FEAR：一种用于架构排序的简单轻量方法
机器学习
2021-06-09 v1 计算机视觉与模式识别
摘要
神经架构搜索（NAS）的根本问题是从给定搜索空间中高效找到高性能架构。我们提出了一种简单但强大的方法，称为FEAR，用于在任意搜索空间中对架构排序。FEAR利用了神经网络是强大的非线性特征提取器这一视角。首先，我们将搜索空间中的不同架构训练至相同的训练或验证误差。然后，我们比较各架构所提取特征的有用性。我们通过快速训练并保持架构大部分冻结来实现这一点。这给出了相对性能的快速估计。我们在Natsbench拓扑搜索空间上针对三个不同数据集验证了FEAR及竞争基线，显示出强烈的排序相关性，尤其是与近期提出的零成本方法相比。FEAR特别擅长对搜索空间中的高性能架构排序。当用于随机搜索等离散搜索算法的内循环时，FEAR可在不损失精度的情况下将搜索时间缩短约2.4倍。我们还对近期提出的用于排序的零成本度量进行了实证考察，发现它们随着训练进行在排序性能上会崩溃，且忽略数据集的数据不可知排序分数在不同数据集间无法泛化。
引用
@article{arxiv.2106.04010,
title = {FEAR: A Simple Lightweight Method to Rank Architectures},
author = {Debadeepta Dey and Shital Shah and Sebastien Bubeck},
journal= {arXiv preprint arXiv:2106.04010},
year = {2021}
}
备注
31 pages, 8 figures