面向移动端神经架构搜索的神经网络模块与设计空间剖析
机器学习
2021-09-28 v1 计算机视觉与模式识别
摘要
神经架构搜索实现了神经网络设计的自动化，并在许多深度学习应用中取得了最先进（SOTA）结果。尽管近期文献聚焦于设计网络以最大化精度，但关于理解架构设计空间与不同硬件兼容性的工作甚少。在本文中，我们分析用于构建 Once-for-All（MobileNetV3）、ProxylessNAS 和 ResNet 系列的神经网络模块，以理解它们在各类设备（包括华为 Kirin 9000 NPU、RTX 2080 Ti、AMD Threadripper 2990WX 和三星 Note10）上的预测能力与推理延迟。我们引入一种方法，仅通过端到端测量来量化神经网络模块对硬件的友好度及其在宏网络中放置位置对整体网络性能的影响。基于大量剖析结果，我们推导出设计洞见并将其应用于特定硬件的搜索空间缩减。我们表明，在缩减后的搜索空间中搜索比在原始搜索空间中搜索生成更好的精度-延迟 Pareto 前沿，从而根据硬件定制架构搜索。此外，由测量得出的洞见在所调查的所有搜索空间上均带来了明显更高的 ImageNet top-1 准确率。
引用
@article{arxiv.2109.12426,
title = {Profiling Neural Blocks and Design Spaces for Mobile Neural Architecture Search},
author = {Keith G. Mills and Fred X. Han and Jialin Zhang and Seyed Saeed Changiz Rezaei and Fabian Chudak and Wei Lu and Shuo Lian and Shangling Jui and Di Niu},
journal= {arXiv preprint arXiv:2109.12426},
year = {2021}
}
备注
Accepted as an Applied Research Paper at CIKM 2021; 10 pages, 8 Figures, 2 Tables