单路径 NAS：面向设备的轻量高效卷积网络设计
机器学习
2019-05-13 v1 计算机视觉与模式识别
机器学习
摘要
我们能否在移动设备延迟约束下自动设计出具有最高图像分类精度的卷积网络（ConvNet）？用于 ConvNet 设计的神经架构搜索（NAS）由于组合巨大的设计空间和搜索时间（至少 200 GPU-小时）而是一个具有挑战性的问题。为缓解此复杂性，我们提出 Single-Path NAS，一种新颖的可微分 NAS 方法，可在不到 4 小时内设计设备高效的 ConvNet。1. 新颖的 NAS 公式：我们的方法引入单路径、过参数化 ConvNet，以共享卷积核参数编码所有架构决策。2. NAS 效率：我们的方法将 NAS 搜索成本降至 8 个周期（30 TPU-小时），即比先前工作快达 5,000 倍。3. 设备上图像分类：Single-Path NAS 在 ImageNet 上取得 74.96% 的 top-1 精度，在 Pixel 1 手机上推理延迟为 79ms，与具有相似延迟（<80ms）的 NAS 方法相比达到最先进精度。
引用
@article{arxiv.1905.04159,
title = {Single-Path NAS: Device-Aware Efficient ConvNet Design},
author = {Dimitrios Stamoulis and Ruizhou Ding and Di Wang and Dimitrios Lymberopoulos and Bodhi Priyantha and Jie Liu and Diana Marculescu},
journal= {arXiv preprint arXiv:1905.04159},
year = {2019}
}
备注
ODML-CDNNR 2019 (ICML'19 workshop) oral presentation (extended abstract, required non-archival version). Full paper: arXiv:1904.02877