单路径移动端AutoML：高效ConvNet设计与NAS超参数优化
机器学习
2023-07-19 v1 计算机视觉与模式识别
机器学习
摘要
我们能否将神经架构搜索（NAS）的搜索成本从数天降至仅几小时？NAS方法在硬件约束下自动化卷积网络（ConvNet）的设计，并已成为AutoML框架的关键组件。然而，NAS问题因组合巨大的设计空间和显著的搜索时间（至少200 GPU-小时）而仍具挑战性。在本工作中，我们将NAS搜索成本缓解至低于3小时，同时在移动端延迟约束下取得最先进的图像分类结果。我们提出一种新颖的可微分NAS公式，即单路径NAS（Single-Path NAS），它使用一条单一路径的过参数化ConvNet，基于共享卷积核参数编码所有架构决策，从而大幅降低搜索开销。单路径NAS取得了最先进的ImageNet top-1准确率（75.62%），因此在相似延迟设置（~80ms）下优于现有移动端NAS方法。特别地，我们通过将Squeeze-and-Excitation路径作为具有我们新颖单路径编码的完全可搜索操作，改善了可微分NAS中的准确率-运行时间权衡。我们的方法总开销仅8个周期（24 TPU-小时），比先前工作快达5,000倍。此外，我们研究了不同NAS公式选择如何影响所设计ConvNet的性能。进而，我们利用方法的效率回答一个有趣问题：相较于经验性调优NAS求解器的超参数（如先前工作），我们能否自动找到产生所需准确率-运行时间权衡的超参数值？我们在 https://github.com/dstamoulis/single-path-nas 开源了整个代码库。
引用
@article{arxiv.1907.00959,
title = {Single-Path Mobile AutoML: Efficient ConvNet Design and NAS Hyperparameter Optimization},
author = {Dimitrios Stamoulis and Ruizhou Ding and Di Wang and Dimitrios Lymberopoulos and Bodhi Priyantha and Jie Liu and Diana Marculescu},
journal= {arXiv preprint arXiv:1907.00959},
year = {2023}
}
备注
Detailed extension (journal) of the Single-Path NAS ECMLPKDD'19 paper (arXiv:1904.02877)