神经架构搜索中编码方式的研究
机器学习
2022-06-07 v2 神经与进化计算
机器学习
摘要
神经架构搜索（NAS）在过去几年中得到了广泛研究。一种流行的方法是将搜索空间中的每个神经架构表示为有向无环图（DAG），然后通过将邻接矩阵和操作列表编码为一组超参数来对所有 DAG 进行搜索。最近的工作表明，即使对每种架构的编码方式做微小改变，也会对 NAS 算法的性能产生显著影响。在这项工作中，我们提出了首个关于 NAS 架构编码效应的形式化研究，包括理论基础和实证研究。首先，我们形式化地定义架构编码，并对我们所研究编码的可扩展性给出理论刻画。然后，我们确定了 NAS 算法所采用的主要依赖于编码的子例程，运行实验以展示对于许多流行算法，哪种编码与每个子例程配合最佳。这些实验既是对先前工作的消融研究，将算法层面和基于编码的贡献解耦，也是对未来工作的指导。我们的结果表明，NAS 编码是一个重要的设计决策，可能对整体性能产生显著影响。我们的代码可在 https://github.com/naszilla/nas-encodings 获取。
引用
@article{arxiv.2007.04965,
title = {A Study on Encodings for Neural Architecture Search},
author = {Colin White and Willie Neiswanger and Sam Nolen and Yash Savani},
journal= {arXiv preprint arXiv:2007.04965},
year = {2022}
}