面向神经架构搜索的抗扰动权值共享
计算机视觉与模式识别
2020-03-31 v1
摘要
神经架构搜索（NAS）已在架构设计领域获得越来越多的关注。其成功背后的关键因素之一是权值共享（WS）技术带来的训练效率。然而，基于 WS 的 NAS 方法常遭受性能扰动（PD）问题。即由于部分共享权重，后续架构的训练不可避免地扰动先前训练架构的性能。这导致对先前架构的性能估计不准确，从而难以学习良好的搜索策略。为缓解性能扰动问题，我们提出一种新的抗扰动更新策略用于模型更新。具体地，为保留先前架构学到的知识，我们通过正交梯度下降将后续架构的训练约束在正交空间中。配备该策略，我们提出一种新颖的 NAS 抗扰动训练方案。我们从理论上分析了我们的策略在缓解 PD 风险上的有效性。在 CIFAR-10 与 ImageNet 上的大量实验验证了我们的方法的优越性。
引用
@article{arxiv.2003.13089,
title = {Disturbance-immune Weight Sharing for Neural Architecture Search},
author = {Shuaicheng Niu and Jiaxiang Wu and Yifan Zhang and Yong Guo and Peilin Zhao and Junzhou Huang and Mingkui Tan},
journal= {arXiv preprint arXiv:2003.13089},
year = {2020}
}