面向快速高效神经架构搜索的数据代理生成

由于神经架构搜索（Neural Architecture Search, NAS）近期的进展，它在为特定任务设计最佳网络方面日益流行。尽管它在许多基准测试和竞赛中展现出有前景的结果，NAS 仍受其搜索高维架构设计空间所需计算成本的困扰，而当我们想使用大规模数据集时，这一问题变得更加严重。如果我们能为 NAS 制作可靠的数据代理，NAS 方法的效率将相应提高。我们制作数据代理的基本观察是：特定数据集中的每个样本对 NAS 过程的影响不同，且从相对精度排序的角度看，大多数样本是冗余的，我们在制作数据代理时应保留这一点。我们提出了一种系统方法，从这一相对精度排序的角度衡量每个样本的重要性，并基于训练与测试样本的统计量制作可靠的数据代理。我们的实验表明，即使数据代理缩小 10-20$\times$，我们仍能在所有可能的网络配置之间保留几乎相同的相对精度排序。