WPNAS：联合使用权重共享与预测器的神经架构搜索
机器学习
2022-03-07 v1 计算机视觉与模式识别
神经与进化计算
摘要
基于权重共享与基于预测器的方法是两类主要的快速神经架构搜索方法。本文提出在统一框架中联合使用权重共享与预测器。首先，我们以权重共享方式构建SuperNet，并从其上概率性采样架构。为提高架构评估的正确性，除利用继承权重直接评估外，我们进一步应用少样本预测器从另一方面评估架构。架构的最终评估为直接评估、预测器预测值与架构开销的组合。我们将该评估视为奖励，并采用自批判策略梯度方法更新架构概率。为进一步降低权重共享的副作用，我们通过引入另一HyperNet提出弱权重共享方法。我们在NATS-Bench、DARTS和MobileNet搜索空间下于CIFAR-10、CIFAR-100和ImageNet等数据集上开展实验。所提WPNAS方法在这些数据集上取得了当前最优性能。
引用
@article{arxiv.2203.02086,
title = {WPNAS: Neural Architecture Search by jointly using Weight Sharing and Predictor},
author = {Ke Lin and Yong A and Zhuoxin Gan and Yingying Jiang},
journal= {arXiv preprint arXiv:2203.02086},
year = {2022}
}