细粒度随机架构搜索
机器学习
2020-06-18 v1 机器学习
摘要
最先进的深度网络通常过大，难以部署在移动设备和嵌入式系统上。移动神经架构搜索（NAS）方法自动化了小模型的设计，但最先进的 NAS 方法运行代价高昂。可微神经架构搜索（DNAS）方法降低了搜索成本，但仅探索了候选架构的一个有限子空间。在本文中，我们提出细粒度随机架构搜索（FiGS），一种在远大于前的候选架构集合上进行搜索的可微搜索方法。FiGS 通过施加基于 Logistic-Sigmoid 分布的结构化稀疏正则化惩罚，在搜索空间中同时选择并修改算子。我们在 3 个现有搜索空间上展示了结果，匹配或超越了原始搜索算法，并在 ImageNet 上产出了最先进的参数高效模型（例如，2.6M 参数达到 75.4% top-1 准确率）。使用我们的架构作为 SSDLite 目标检测的骨干网络，我们在 COCO 上取得了显著高于 MobileNetV3 和 MnasNet 的 mAP（例如，3.0M 参数达到 25.8）。
引用
@article{arxiv.2006.09581,
title = {Fine-Grained Stochastic Architecture Search},
author = {Shraman Ray Chaudhuri and Elad Eban and Hanhan Li and Max Moroz and Yair Movshovitz-Attias},
journal= {arXiv preprint arXiv:2006.09581},
year = {2020}
}