ReuseSense：重用带来更高效率；在通用 CPU 上有效运用计算重用
硬件体系结构
2023-11-20 v1
摘要
深度神经网络 (DNNs) 是处理语音识别和自然语言处理等现实应用中认知任务的事实标准算法。DNN 推理包含输入与权重之间大量的点积运算，需要众多乘法与内存访问，这在现代 CPU 上评估时阻碍了其性能与能耗。本工作中，我们利用不同 DNN 层中连续输入之间的高度相似性，以提升 CPU 上 DNN 推理的性能与能效。为此，我们提出 ReuseSense，一种新硬件方案，包含 ReuseSensor——一个在感知到相似输入时高效生成评估 DNN 层所需的计算与加载指令的引擎。通过智能重用先前计算的乘积值，ReuseSense 在遇到与先前相同的输入值时可绕过计算。此外，它通过跳过与被绕过点积计算相关的权重加载，高效避免冗余加载。我们的实验表明，相较于基线，ReuseSense 在多个 DNN 上平均实现 8 倍性能加速与 74% 的总能耗降低。
引用
@article{arxiv.2311.10487,
title = {ReuseSense: With Great Reuse Comes Greater Efficiency; Effectively Employing Computation Reuse on General-Purpose CPUs},
author = {Nitesh Narayana GS and Marc Ordoñez and Lokananda Hari and Franyell Silfa and Antonio González},
journal= {arXiv preprint arXiv:2311.10487},
year = {2023}
}