以稳定化共享参数代理赋能一次性拓扑神经架构搜索
计算机视觉与模式识别
2020-05-22 v1
摘要
一次性神经架构搜索（NAS）方法因其卓越的训练效率及发现高性能模型的能力而备受研究界关注。然而，以往基于一次性的工作的搜索空间通常依赖手工设计，在网络拓扑上缺乏灵活性。本文中，我们试图通过在大规模拓扑增强搜索空间（即超过 3.4*10^10 种不同拓扑结构）中探索高性能网络架构来增强一次性 NAS。具体而言，所提出的稳定化共享参数代理消除了在此类复杂空间中进行架构搜索的困难，其采用随机梯度朗之万动力学实现快速的共享参数采样，从而即使在具有复杂拓扑结构的搜索空间中也能实现对架构性能的稳定度量。所提方法称为稳定化拓扑神经架构搜索（ST-NAS），在 ImageNet 上乘加运算量（MAdds）约束下取得了最先进的性能。我们的轻量模型 ST-NAS-A 仅用 326M MAdds 即达到 76.4% 的 top-1 准确率。我们的中等模型 ST-NAS-B 仅需 503M MAdds 便达到 77.9% 的 top-1 准确率。与一次性 NAS 的其他同期工作相比，两个模型均具有更优的性能。
引用
@article{arxiv.2005.10511,
title = {Powering One-shot Topological NAS with Stabilized Share-parameter Proxy},
author = {Ronghao Guo and Chen Lin and Chuming Li and Keyu Tian and Ming Sun and Lu Sheng and Junjie Yan},
journal= {arXiv preprint arXiv:2005.10511},
year = {2020}
}