JAQ：面向硬件-软件协同探索的联合高效架构设计与低位量化
计算机视觉与模式识别
2025-01-10 v1
摘要
神经网络架构、量化精度与硬件加速器的协同设计，为在资源受限的边缘设备上实现性能与效率的最佳平衡提供了可行路径。本文提出JAQ框架，联合优化这三个关键维度。然而，在广泛的搜索空间中高效自动化设计过程尚存挑战，尤其是当追求极低位量化时。具体而言，主要挑战包括：（1）软件端内存开销：低精度量化感知训练会因存储大量中间特征和潜在权重而导致显著内存占用，甚至可能引发内存耗尽。（2）硬件端搜索耗时：硬件参数的离散特性以及编译器优化与单个算子之间的复杂交互，使得加速器搜索耗时。为此，JAQ通过通道级稀疏量化（CSQ）方案缓解了内存开销，在优化过程中有选择地对模型最敏感的组件应用量化。此外，JAQ设计了BatchTile，采用硬件生成网络对所有可能的铺瓦模式进行编码，从而加速寻找最优编译器映射策略的搜索。广泛的实验表明，JAQ的有效性：在ImageNet上实现了约7%的Top-1准确率提升，同时将硬件搜索迭代时间缩短至0.15秒。
引用
@article{arxiv.2501.05339,
title = {JAQ: Joint Efficient Architecture Design and Low-Bit Quantization with Hardware-Software Co-Exploration},
author = {Mingzi Wang and Yuan Meng and Chen Tang and Weixiang Zhang and Yijian Qin and Yang Yao and Yingxin Li and Tongtong Feng and Xin Wang and Xun Guan and Zhi Wang and Wenwu Zhu},
journal= {arXiv preprint arXiv:2501.05339},
year = {2025}
}
备注
Accepted by AAAI 2025