面向神经预测器的同构架构增强
机器学习
2021-07-29 v1 神经与进化计算
摘要
神经架构搜索(NAS)能够针对手头任务自动设计出性能良好的深度神经网络(DNN)架构。然而,NAS的一个瓶颈是计算代价高昂,这主要源于昂贵的性能评估。神经预测器可直接估计待评估DNN的性能而无需任何训练,因此受到研究者越来越多的关注。尽管流行,它们也面临一个严重局限:用于有效训练神经预测器的带标注DNN架构匮乏。本文提出面向DNN架构神经预测器的同构架构增强(HAAP)以解决上述问题。具体而言,HAAP中提出一种同构架构增强算法,利用同构表示生成充足的训练数据。此外,HAAP引入独热编码策略,使DNN架构的表示更为有效。实验在NAS-Benchmark-101与NAS-Bench-201数据集上进行。实验结果表明,所提HAAP算法以远少于对比方法的训练数据优于当前最优方法。此外,在两个基准数据集上的消融研究也显示了同构架构增强的普适性。
引用
@article{arxiv.2107.13153,
title = {Homogeneous Architecture Augmentation for Neural Predictor},
author = {Yuqiao Liu and Yehui Tang and Yanan Sun},
journal= {arXiv preprint arXiv:2107.13153},
year = {2021}
}
备注
This paper has been accepted by ICCV 2021