Hyperdrive：一种可 systolic 多芯片扩展的二值权重 CNN 推理引擎
分布式、并行与集群计算
2019-03-15 v3 硬件体系结构
计算机视觉与模式识别
图像与视频处理
信号处理
摘要
深度神经网络在计算机视觉和机器学习中取得了令人印象深刻的成果。不幸的是，最先进的网络计算和存储开销极大，使其不适用于 IoT 终端节点等毫瓦级设备。对这些网络进行激进量化可大幅减少计算和存储占用。二值权重神经网络（BWN）遵循这一趋势，将权重量化推向极限。迄今为止提出的 BWN 硬件加速器聚焦于核心效率，忽视了 I/O 带宽和系统级效率，而后者对于在超低功耗设备中部署加速器至关重要。我们提出 Hyperdrive：一种 BWN 加速器，利用新颖的二值权重流处理方法来大幅降低 I/O 带宽，该方法可用于任意大小的卷积神经网络架构和输入分辨率，通过在 2D 网格中 systolic 排列 Hyperdrive 芯片，同时在芯片级和系统级利用计算单元的自然可扩展性，并行处理整个特征图。Hyperdrive 实现了 4.3 TOp/s/W 的系统级效率（即包含 I/O）——比最先进的 BWN 加速器高 3.1 倍，即使其核心使用资源密集的 FP16 算术以增强鲁棒性。
引用
@article{arxiv.1804.00623,
title = {Hyperdrive: A Multi-Chip Systolically Scalable Binary-Weight CNN Inference Engine},
author = {Renzo Andri and Lukas Cavigelli and Davide Rossi and Luca Benini},
journal= {arXiv preprint arXiv:1804.00623},
year = {2019}
}