Single-Path NAS：在 4 小时内设计硬件高效的 ConvNet
机器学习
2019-04-08 v1 计算机视觉与模式识别
机器学习
摘要
我们能否自动设计出在移动设备运行时约束下具有最高图像分类精度的卷积网络（ConvNet）？神经架构搜索（NAS）通过自动化该过程彻底改变了硬件高效 ConvNet 的设计。然而，NAS 问题因组合巨大的设计空间而仍具挑战性，导致显著的搜索时间（至少 200 GPU-小时）。为缓解此复杂性，我们提出 Single-Path NAS，一种新颖的可微分 NAS 方法，可在少于 4 小时内设计硬件高效的 ConvNet。我们的贡献如下：1. 单路径搜索空间：与先前可微分 NAS 方法相比，Single-Path NAS 使用一条单路径过参数化 ConvNet，以共享卷积核参数编码所有架构决策，从而大幅减少可训练参数数量并将搜索成本降至数个 epoch。2. 硬件高效的 ImageNet 分类：Single-Path NAS 在 ImageNet 上达到 74.96% 的 top-1 精度，在 Pixel 1 手机上延迟为 79ms，相较于具有相似约束（<80ms）的 NAS 方法属最先进精度。3. NAS 效率：Single-Path NAS 搜索成本仅为 8 个 epoch（30 TPU-小时），相较先前工作最高快 5,000 倍。4. 可复现性：与近期所有仅发布预训练模型的移动高效 NAS 方法不同，我们在 https://github.com/dstamoulis/single-path-nas 开源了完整代码库。
引用
@article{arxiv.1904.02877,
title = {Single-Path NAS: Designing Hardware-Efficient ConvNets in less than 4 Hours},
author = {Dimitrios Stamoulis and Ruizhou Ding and Di Wang and Dimitrios Lymberopoulos and Bodhi Priyantha and Jie Liu and Diana Marculescu},
journal= {arXiv preprint arXiv:1904.02877},
year = {2019}
}