面向演化神经架构搜索的自监督表示学习
计算机视觉与模式识别
2020-11-03 v1
摘要
近期提出的神经架构搜索（NAS）算法采用神经预测器来加速架构搜索。神经预测器准确预测神经架构性能指标的能力对 NAS 至关重要，而神经预测器训练数据集的获取十分耗时。如何利用少量训练数据获得高预测精度的神经预测器是基于神经预测器的 NAS 的核心问题。在此，我们首先设计了一种新的架构编码方案，克服了现有基于向量的架构编码方案的缺点，以计算神经架构的图编辑距离。为增强神经预测器的预测性能，我们从不同角度设计了两种自监督学习方法来预训练神经预测器的架构嵌入部分，以生成有意义的神经架构表示。第一种是训练一个精心设计的双分支图神经网络模型来预测两个输入神经架构的图编辑距离。第二种方法受流行的对比学习启发，我们提出了一种利用中心特征向量作为代理将正样本对与负样本对进行对比的新对比学习算法。实验结果表明，预训练的神经预测器仅用几分之一的训练样本即可达到与其有监督对应方法相当或更优的性能。将预训练的神经预测器与演化 NAS 算法结合，我们在 NASBench-101 和 NASBench201 基准上取得了最先进的性能。
引用
@article{arxiv.2011.00186,
title = {Self-supervised Representation Learning for Evolutionary Neural Architecture Search},
author = {Chen Wei and Yiping Tang and Chuang Niu and Haihong Hu and Yue Wang and Jimin Liang},
journal= {arXiv preprint arXiv:2011.00186},
year = {2020}
}