迈向自监督与保权神经网络架构搜索
计算机视觉与模式识别
2022-06-10 v1
摘要
神经网络架构搜索（NAS）算法节省了人类专家的巨量人力。近期的进展进一步将计算开销降低到可承受的水平。然而，由于繁琐的流程和监督学习范式，在真实应用中部署NAS技术仍然笨重。本工作中，我们提出自监督与保权神经网络架构搜索（SSWP-NAS），作为当前NAS框架的扩展，其允许自监督并保留搜索阶段发现的伴随权重。由此，我们将NAS的工作流简化为单阶段且无代理的流程。实验表明，所提框架搜索出的架构在CIFAR-10、CIFAR-100和ImageNet数据集上无需使用人工标签即达到最先进准确率。此外，我们表明在半监督学习场景下，采用伴随权重作为初始化一致地以明显优势优于随机初始化和两阶段权重预训练方法。代码公开于https://github.com/LzVv123456/SSWP-NAS。
引用
@article{arxiv.2206.04125,
title = {Towards Self-supervised and Weight-preserving Neural Architecture Search},
author = {Zhuowei Li and Yibo Gao and Zhenzhou Zha and Zhiqiang HU and Qing Xia and Shaoting Zhang and Dimitris N. Metaxas},
journal= {arXiv preprint arXiv:2206.04125},
year = {2022}
}