面向资源受限硬件平台的神经架构搜索
机器学习
2019-11-04 v1 神经与进化计算
信号处理
摘要
近年来，神经架构搜索（NAS）的成功使研究人员能够利用基于学习的方法广泛探索设计空间。除了寻找更好的神经网络架构外，自动化思想也启发了对其硬件实现的改进。虽然一些硬件机器学习自动化的实践取得了显著性能，但仍遵循传统设计理念：首先构建具有优异测试精度的网络架构，然后压缩和优化以适配目标平台。这种设计流程容易导致次优的局部最优解。为解决该问题，我们提出一个新框架，联合探索神经架构、硬件实现和量化的空间。我们的目标是在给定硬件规格下，找到可实现的、精度最高的量化架构。我们采用 FPGA 在有限的查找表（LUT）和所需吞吐量约束下实现并测试设计。与分离的设计/搜索方法相比，我们的框架在严格规格下表现出更优性能，并在 CIFAR10 图像分类任务中生成精度高出 18% 至 68% 的设计。在 30,000 个 LUT 下，发现一种轻量级设计可达到 82.98% 精度和 1293 图像/秒吞吐量；相比之下，在相同约束下传统方法甚至无法找到有效解。
引用
@article{arxiv.1911.00105,
title = {On Neural Architecture Search for Resource-Constrained Hardware Platforms},
author = {Qing Lu and Weiwen Jiang and Xiaowei Xu and Yiyu Shi and Jingtong Hu},
journal= {arXiv preprint arXiv:1911.00105},
year = {2019}
}
备注
8 pages, ICCAD 2019