ROMANet：面向深度神经网络加速器的细粒度重用驱动片外存储器访问管理与数据组织
分布式、并行与集群计算
2023-03-06 v2 硬件体系结构
机器学习
摘要
实现高能效对深度学习的嵌入式实现至关重要。若干研究已表明，基于 DRAM 的片外存储器访问是深度神经网络（DNN）加速器中能耗最高的操作之一，从而限制了设计发挥全部潜在效率收益。DRAM 访问能耗取决于所需访问次数及每次访问消耗的能量。因此，寻求最小 DRAM 访问能耗的解决方案是一个重要的优化问题。为此，我们提出 ROMANet 方法，旨在通过基于可用片上存储器与数据重用因子的设计空间探索，为网络各层搜索合适的数据划分与调度，从而减少存储器访问次数。此外，ROMANet 还利用 DRAM 多 bank 突发特性降低 DRAM 行缓冲冲突与缺失次数，从而改善每次访问的能耗。除提供能耗收益外，我们提出的 DRAM 数据映射还提升了有效 DRAM 吞吐，有益于时延受限场景。实验结果显示，相较最先进技术，ROMANet 为 AlexNet 节省 12% DRAM 访问能耗、为 VGG-16 节省 36%、为 MobileNet 节省 46%，同时提升 10% DRAM 吞吐。
引用
@article{arxiv.1902.10222,
title = {ROMANet: Fine-Grained Reuse-Driven Off-Chip Memory Access Management and Data Organization for Deep Neural Network Accelerators},
author = {Rachmad Vidya Wicaksana Putra and Muhammad Abdullah Hanif and Muhammad Shafique},
journal= {arXiv preprint arXiv:1902.10222},
year = {2023}
}
备注
Submitted to the IEEE-TVLSI journal, 14 pages, 26 figures