PreNAS：面向高效神经架构搜索的偏好一次性学习
网络与互联网体系结构
2023-06-19 v3
摘要
预训练模型的广泛应用正推动一次性神经架构搜索（NAS）中 once-for-all 训练的趋势。然而，在巨大样本空间内训练会损害单个子网的性能，并需要大量计算来搜索最优模型。本文中，我们提出 PreNAS，一种在一次性训练中突出目标模型的免搜索 NAS 方法。具体而言，样本空间通过零成本选择器被大幅提前缩减，并在偏好架构上执行权重共享的一次性训练以缓解更新冲突。大量实验表明，PreNAS 在 Vision Transformer 和卷积架构上均持续优于最先进的一次性 NAS 方法，且重要的是，能以零搜索成本实现即时定制化。我们的代码见 https://github.com/tinyvision/PreNAS。
引用
@article{arxiv.2304.14636,
title = {PreNAS: Preferred One-Shot Learning Towards Efficient Neural Architecture Search},
author = {Haibin Wang and Ce Ge and Hesen Chen and Xiuyu Sun},
journal= {arXiv preprint arXiv:2304.14636},
year = {2023}
}
备注
Accepted by ICML 2023