网内累加：扩展NoC在DNN加速中的作用
硬件体系结构
2022-09-22 v1 分布式、并行与集群计算
摘要
片上网络(Network-on-Chip, NoC)对DNN加速器的性能起着重要作用。NoC的可扩展性与模块化设计特性，通过提供运行不同工作负载的灵活性，有助于提升DNN执行性能。DNN工作负载中的数据搬移对DNN加速器而言仍是挑战性任务，因而需要一种新方法。本文提出网内累加(In-Network Accumulation, INA)方法，以在权重固定(Weight Stationary, WS)数据流模型的多核空间DNN加速器上进一步加速DNN工作负载执行。INA方法扩展路由器功能以支持部分和累加，避免了将传入部分和注入并弹出至本地处理单元的开销。在AlexNet、ResNet-50与VGG-16工作负载上的仿真结果表明，所提INA方法在WS数据流模型上实现延迟1.22倍提升与功耗2.16倍改善。
引用
@article{arxiv.2209.10056,
title = {In-Network Accumulation: Extending the Role of NoC for DNN Acceleration},
author = {Binayak Tiwari and Mei Yang and Xiaohang Wang and Yingtao Jiang},
journal= {arXiv preprint arXiv:2209.10056},
year = {2022}
}
备注
Presented at 35th IEEE International System-on-Chip Conference (SOCC)