NASH：面向硬件优化的神经网络架构搜索
机器学习
2024-03-12 v2 人工智能
计算机视觉与模式识别
摘要
随着机器学习 (ML) 算法在日益增多的应用中部署，这些算法需要在高精度、高吞吐量和低延迟之间实现更好的权衡。本文引入 NASH，一种新颖的方法，将神经网络架构搜索应用于机器学习硬件。使用 NASH，硬件设计不仅能实现高吞吐量和低延迟，还能获得优异的精度性能。本文提出了四种 NASH 策略版本，均显示出高于原始模型的精度。该策略可应用于各种卷积神经网络，从众多模型操作中选择特定操作，以指导训练过程实现更高精度。实验结果表明，对 ResNet18 或 ResNet34 应用 NASH 可在 ImageNet 数据集上实现 Top-1 精度提升最高可达 3.1%，Top-5 精度提升最高可达 2.2%。我们还将该方法集成到 FINN 硬件模型综合工具中，以自动化应用该方法并生成硬件模型。结果表明，使用 FINN 可实现最高 324.5 fps 的最大吞吐量。此外，NASH 模型还能实现精度和硬件资源利用之间的更好权衡。精度-硬件 (HW) 帕累托曲线显示，四种 NASH 版本的模型在给定 HW 利用率时实现最高精度。我们的实现代码已开源并在 GitHub 上公开，地址为 https://github.com/MFJI/NASH。
引用
@article{arxiv.2403.01845,
title = {NASH: Neural Architecture Search for Hardware-Optimized Machine Learning Models},
author = {Mengfei Ji and Yuchun Chang and Baolin Zhang and Zaid Al-Ars},
journal= {arXiv preprint arXiv:2403.01845},
year = {2024}
}