ADWPNAS：面向神经架构搜索的架构驱动权重预测
神经与进化计算
2020-03-04 v1 机器学习
摘要
如何快速且准确地发现并评估模型的真实能力是神经架构搜索（NAS）中的关键挑战之一。为应对该问题，我们提出一种用于神经架构搜索（NAS）的架构驱动权重预测（ADWP）方法。在我们的方法中，首先设计一个架构密集的搜索空间，然后通过输入随机编码的架构参数来训练一个 HyperNetwork。在训练好的 HyperNetwork 中，可以为搜索空间中的神经架构很好地预测卷积核的权重。因此，目标架构无需任何微调即可高效评估，从而使我们能够在通用网络空间（宏搜索）中搜索最优架构。通过真实实验，我们评估了所提出的 AD-WPNAS 发现的模型的性能，结果表明一次搜索过程可在 CIFAR-10 上以 4.0 GPU 小时完成。此外，所发现的模型仅用 1.52M 参数即获得 2.41% 的测试误差，优于现有最佳模型。
引用
@article{arxiv.2003.01335,
title = {ADWPNAS: Architecture-Driven Weight Prediction for Neural Architecture Search},
author = {XuZhang and ChenjunZhou and BoGu},
journal= {arXiv preprint arXiv:2003.01335},
year = {2020}
}