DSNAS：无需参数重训练的直接神经架构搜索
机器学习
2020-04-02 v2 机器学习
摘要
若 NAS 方法是解决方案，问题何在？大多数现有 NAS 方法需要两阶段参数优化。然而，同一架构在两阶段中的性能相关性很差。基于该观察，我们为 NAS 提出了一种新的问题定义：任务特定的端到端。我们认为，对于给定的、期望使用 NAS 方法的计算机视觉任务，该定义可将定义模糊的 NAS 评估简化为 i) 该任务的准确率以及 ii) 最终获得满足精度模型所消耗的总计算量。鉴于大多数现有方法不能直接解决此问题，我们提出 DSNAS，一种高效的可微 NAS 框架，利用低偏差蒙特卡洛估计同时优化架构与参数。由 DSNAS 导出的子网络可直接部署，无需参数重训练。与两阶段方法相比，DSNAS 在 420 GPU 小时内于 ImageNet 上成功发现了具有相当准确率（74.4%）的网络，将总时间减少超过 34%。我们的实现可在 https://github.com/SNAS-Series/SNAS-Series 获取。
引用
@article{arxiv.2002.09128,
title = {DSNAS: Direct Neural Architecture Search without Parameter Retraining},
author = {Shoukang Hu and Sirui Xie and Hehui Zheng and Chunxiao Liu and Jianping Shi and Xunying Liu and Dahua Lin},
journal= {arXiv preprint arXiv:2002.09128},
year = {2020}
}
备注
To appear in CVPR 2020