SwiftNet：以图传播作为元知识搜索高代表性神经架构
机器学习
2019-06-27 v2 人工智能
计算机视觉与模式识别
摘要
为边缘设备设计神经架构受到精度、推理延迟和计算成本的约束。传统上，研究人员手动设计深度神经网络以满足移动设备的需求。神经架构搜索（NAS）被提出以自动化神经架构设计，无需广泛的领域专业知识和大量人工工作。近期工作利用 NAS 并在考虑硬件约束的情况下设计移动模型，以更少的参数和以乘加运算（MACs）衡量的计算成本实现了最先进的精度。为寻找高度紧凑的神经架构，现有工作依赖于预定义单元并直接应用宽度乘数，这可能限制模型灵活性、减少有用的特征图信息并导致精度下降。为克服该问题，我们提出 GRAM（GRAph propagation as Meta-knowledge，以图传播作为元知识），其采用细粒度（节点级）搜索方法，并将更新中学习到的知识累积到元图中。因此，GRAM 能够实现更灵活的搜索空间并达到更高的搜索效率。在无预定义单元或块约束的情况下，我们提出一种新的结构级剪枝方法以移除神经架构中的冗余操作。SwiftNet 是一组由 GRAM 发现的模型，在以相似精度下优于 MobileNet-V2，精度密度高 2.15 倍且快 2.42 倍。与 FBNet 相比，SwiftNet 将搜索成本降低 26 倍，在保持相似精度下实现 2.35 倍更高的精度密度和 1.47 倍加速。SwiftNet 仅用 53M MACs 和 2.07M 参数即可在 ImageNet-1K 上获得 63.28% 的 top-1 精度。相应的推理延迟在 Google Pixel 1 上仅为 19.09 ms。
引用
@article{arxiv.1906.08305,
title = {SwiftNet: Using Graph Propagation as Meta-knowledge to Search Highly Representative Neural Architectures},
author = {Hsin-Pai Cheng and Tunhou Zhang and Yukun Yang and Feng Yan and Shiyu Li and Harris Teague and Hai Li and Yiran Chen},
journal= {arXiv preprint arXiv:1906.08305},
year = {2019}
}