EZNAS：为神经架构评分演化零成本代理
机器学习
2022-12-22 v3 计算机视觉与模式识别
神经与进化计算
摘要
神经架构搜索（Neural Architecture Search, NAS）显著提升了神经网络（NN）设计与部署的效率。由于 NAS 通常通过部分或完整训练来评估多个模型，效率的提升以显著的碳足迹为代价。为缓解这一昂贵的训练流程，零样本/零成本代理在初始化时分析一个 NN 以生成分数，该分数与其真实准确率高度相关。零成本代理目前由专家通过在可能的算法、数据集和神经架构设计空间上进行多轮经验测试来设计。这种实验降低了效率，并且随着深度学习用例性质趋于多样，这是一种不可持续的零成本代理设计方法。此外，现有零成本代理无法跨神经架构设计空间泛化。在本文中，我们提出一种遗传编程框架，以自动化发现用于神经架构评分的零成本代理。我们的方法高效地发现了一种可解释且可泛化的零成本代理，在 NASBench-201 与网络设计空间（Network Design Spaces, NDS）的所有数据集与搜索空间上给出了最先进的分数-准确率相关性。我们相信，该研究表明了朝自动发现可跨网络架构设计空间、数据集与任务工作的零成本代理的一个有前景的方向。
引用
@article{arxiv.2209.07413,
title = {EZNAS: Evolving Zero Cost Proxies For Neural Architecture Scoring},
author = {Yash Akhauri and J. Pablo Munoz and Nilesh Jain and Ravi Iyer},
journal= {arXiv preprint arXiv:2209.07413},
year = {2022}
}