使用 FbNet 的硬件感知神经网络架构
计算机视觉与模式识别
2019-06-19 v1 机器学习
摘要
我们实现了一种受 FBNet 启发的可微分神经架构搜索（NAS）方法，用于发现针对特定目标设备高度优化的神经网络。FBNet NAS 方法通过优化一个考虑准确率和目标设备延迟的损失函数，从给定搜索空间中发现神经网络。我们通过添加能量项扩展了该损失函数。这有望增强“硬件感知”能力，并帮助我们在给定目标设备（本例中为 Raspberry Pi）的情况下，找到在准确率、延迟和能耗方面均最优的神经网络架构。我们将搜索过程结束时训练得到的子架构命名为硬件感知神经网络架构（HANNA）。我们通过在 CIFAR-10 数据集上将 HANNA 与另外两种为移动/嵌入式应用设计的最先进神经网络 MobileNetv2 和 CondenseNet 进行基准测试，证明了我们方法的有效性。我们的结果表明，与 MobileNetv2 和 CondenseNet 相比，HANNA 分别提供了约 2.5 倍和 1.7 倍的加速，并降低了 3.8 倍和 2 倍的能耗。HANNA 能够以可容忍的 4-5% 准确率下降为代价，相对于最先进基线提供如此显著的加速和能效优势。
引用
@article{arxiv.1906.07214,
title = {Hardware Aware Neural Network Architectures using FbNet},
author = {Sai Vineeth Kalluru Srinivas and Harideep Nair and Vinay Vidyasagar},
journal= {arXiv preprint arXiv:1906.07214},
year = {2019}
}
备注
8 pages, 11 figures