基于预测的神经架构搜索的编码方法
机器学习
2024-03-06 v1 人工智能
计算机视觉与模式识别
神经与进化计算
摘要
基于预测器的方法显著增强了神经架构搜索（NAS）的优化。这些预测器的有效性很大程度上受神经网络架构编码方法的影响。传统编码使用描述神经网络图结构的邻接矩阵，而新型编码则采用了多种方法，从潜在表示的无监督预训练到零代价代理的向量。在本文中，我们从三种主要类型对神经编码进行分类和研究：结构编码、学习编码和基于分数的编码。此外，我们扩展了这些编码，并引入了统一编码，将 NAS 预测器扩展到多个搜索空间。我们的分析基于在 NASBench-101（NB101）、NB201、NB301、网络设计空间（NDS）和 TransNASBench-101 等 NAS 空间上对超过 150 万个神经网络架构进行的实验。基于我们的研究，我们提出了预测器 FLAN：用于 NAS 的流注意力。FLAN 整合了预测器设计、迁移学习和统一编码的关键见解，使得训练 NAS 精度预测器的成本降低了一个数量级以上。我们的实现和所有神经网络的编码已在 https://github.com/abdelfattah-lab/flan_nas 开源。
引用
@article{arxiv.2403.02484,
title = {Encodings for Prediction-based Neural Architecture Search},
author = {Yash Akhauri and Mohamed S. Abdelfattah},
journal= {arXiv preprint arXiv:2403.02484},
year = {2024}
}