NASA：面向硬件启发式混合网络的神经架构搜索与加速
硬件体系结构
2022-12-20 v2 机器学习
摘要
乘法可以说是现代深度神经网络（DNN）中代价最高的主导操作，限制了其可实现的效率，从而限制了在资源受限应用中的更广泛部署。为应对这一限制，先驱工作开发了手工设计的无乘法DNN，这需要专家知识且耗费时间的手动迭代，因而亟需快速开发工具。为此，我们提出了一个称为NASA的神经架构搜索与加速框架，它实现了自动化的减乘法DNN开发，并集成了一个专用的减乘法加速器以提升DNN的可实现效率。具体而言，NASA采用神经架构搜索（NAS）空间，用硬件启发的无乘法算子（如移位和加法器）来增强最先进的空间，并配备新颖的渐进式预训练策略（PGP）以及定制训练方案，以自动搜索最优的减乘法DNN；在此基础上，NASA进一步开发了一个专用加速器，倡导一种基于块的模板和自动映射器，专用于NASA-NAS生成的DNN，以更好地利用其算法特性来提升硬件效率。实验结果和消融研究一致验证了NASA的算法-硬件协同设计框架在可实现精度与效率权衡方面的优势。代码可在 https://github.com/GATECH-EIC/NASA 获取。
引用
@article{arxiv.2210.13361,
title = {NASA: Neural Architecture Search and Acceleration for Hardware Inspired Hybrid Networks},
author = {Huihong Shi and Haoran You and Yang Zhao and Zhongfeng Wang and Yingyan Lin},
journal= {arXiv preprint arXiv:2210.13361},
year = {2022}
}
备注
Accepted to ICCAD2022