Auto-NBA：在网络、位宽与加速器联合空间上的高效有效搜索
机器学习
2025-01-07 v3
摘要
尽管最大化深度神经网络（DNN）加速效率需要对网络、位宽和加速器这三个不同但高度耦合的方面进行联合搜索/设计，但这种联合搜索所带来的挑战尚未被充分理解和解决。关键挑战包括：（1）因巨大联合空间而导致内存消耗爆炸与获得次优设计之间的两难困境；（2）加速器设计空间的离散性，其虽与网络和位宽耦合却有所不同；（3）网络—加速器协同搜索中的鸡生蛋蛋生鸡问题，即协同搜索需要逐操作硬件代价，而在搜索过程中该代价缺失，因为依赖于整个网络的最优加速器在搜索时仍未知。为应对这些艰巨挑战以实现DNN加速器的快速最优开发，我们提出名为Auto-NBA的框架，通过为每个目标数据集和加速规格在巨大联合设计空间内高效定位最优设计，来联合搜索网络、位宽和加速器。我们的Auto-NBA集成了异构采样策略以恒定内存消耗实现无偏搜索，以及配备通用可微加速器搜索引擎的新型联合搜索流水线。大量实验与消融研究证实，在搜索时间、任务精度和加速器效率方面，Auto-NBA生成的网络与加速器均持续优于最先进设计（包括协同搜索/探索技术、硬件感知NAS方法和DNN加速器）。我们的代码见：https://github.com/RICE-EIC/Auto-NBA。
引用
@article{arxiv.2106.06575,
title = {Auto-NBA: Efficient and Effective Search Over the Joint Space of Networks, Bitwidths, and Accelerators},
author = {Yonggan Fu and Yongan Zhang and Yang Zhang and David Cox and Yingyan Celine Lin},
journal= {arXiv preprint arXiv:2106.06575},
year = {2025}
}
备注
Accepted at ICML 2021