面向高数据率、低延迟科学应用的神经网络推理的架构影响
机器学习
2024-03-15 v1 硬件体系结构
摘要
随着越来越多的科学领域依赖神经网络（NN）来处理以极高吞吐量和极低延迟传入的数据，开发所有参数均存储在片上的NN变得至关重要。在许多此类应用中，没有足够的时间去片外检索权重。更有甚者，诸如DRAM之类的片外存储器并不具备像数据产生速度那样快地处理这些NN所需的带宽（例如，每25 ns一次）。因此，这些极端的延迟和带宽要求对旨在运行这些NN的硬件产生了架构上的影响：1）所有NN参数必须容纳在片上；2）通常需要协同设计定制/可重构逻辑以满足这些延迟和带宽约束。在我们的工作中，我们表明许多科学NN应用必须完全在片上运行，在极端情况下需要定制芯片来满足如此严苛的约束。
引用
@article{arxiv.2403.08980,
title = {Architectural Implications of Neural Network Inference for High Data-Rate, Low-Latency Scientific Applications},
author = {Olivia Weng and Alexander Redding and Nhan Tran and Javier Mauricio Duarte and Ryan Kastner},
journal= {arXiv preprint arXiv:2403.08980},
year = {2024}
}