权重聚类的规模化评估以实现高能效目标检测
硬件体系结构
2023-03-01 v1
摘要
实现基于图像的目标检测深度神经网络的加速器由于获取图像和神经网络参数而处理大量数据,尤其是在需要处理视频流时,因此具有高的功耗和获取所有数据的带宽需求。虽然存在一些缓解数据获取功耗和带宽需求的方案,但它们通常在规模远小于目标应用的有限评估背景下被评价,这给实践中寻找最佳权衡带来挑战。本文搭建了基础设施,以在真实驾驶条件视频下,对基于神经网络的目标检测系统You Only Look Once v3 (YOLOv3)的一项关键功耗和带宽优化——权重聚类——进行规模化评估。我们的评估表明,采用输出 stationary 架构的 systolic array 等加速器与权重聚类结合是非常有效的解决方案。具体而言,按神经网络各层独立应用权重聚类,并使用32(5-bit)到256(8-bit)之间的权重,可达到接近原始YOLOv3权重(32-bit权重)的精度。权重的此类比特数减少可将带宽需求降至原始需求的30%-40%,并将能耗降至45%。其依据是:(i)乘加运算引起的能耗远小于DRAM数据获取,(ii)适当设计加速器可使大部分获取的数据对应于可应用聚类的神经网络权重。总体而言,我们的规模化评估通过将真实应用(YOLOv3)与真实驾驶视频统一设置于同一框架中,提供了构建基于摄像头的目标检测加速器的关键结果,从而使观察到的趋势可靠。
引用
@article{arxiv.2302.14426,
title = {At-Scale Evaluation of Weight Clustering to Enable Energy-Efficient Object Detection},
author = {Martí Caro and Hamid Tabani and Jaume Abella},
journal= {arXiv preprint arXiv:2302.14426},
year = {2023}
}
备注
25 pages, 13 figures, 5 tables, published in Journal of Systems Architecture