GPNAS：基于图预测器的神经网络架构搜索框架
机器学习
2021-07-09 v6 计算机视觉与模式识别
摘要
在实践中，神经架构搜索（NAS）训练所遇到的问题并非简单问题，而常是一系列困难的组合（错误补偿估计、维度灾难、过拟合、高复杂度等）。本文中，我们提出一种将网络结构与算子搜索空间解耦的框架，并使用两个 BOHB 交替搜索。考虑到激活函数与初始化也是神经网络的重要部分，会影响模型的泛化能力，我们引入激活函数与初始化方法域，并将其加入算子搜索空间以形成广义搜索空间，从而提升子模型的泛化能力。随后我们利用子模型反馈训练了一个基于 GCN 的预测器。这不仅能提升搜索效率，还可解决维度灾难问题。接着，不同于其他 NAS 研究，我们使用预测器分析不同网络结构的稳定性。最后，我们将该框架应用于神经结构搜索，并在多个数据集上取得显著改进。
引用
@article{arxiv.2103.11820,
title = {GPNAS: A Neural Network Architecture Search Framework Based on Graphical Predictor},
author = {Dige Ai and Hong Zhang},
journal= {arXiv preprint arXiv:2103.11820},
year = {2021}
}
备注
12 pages,15 figures