面向 FPGA 的硬件高效残差网络
计算机视觉与模式识别
2021-02-03 v1 硬件体系结构
摘要
残差网络（ResNets）在其网络中采用跳跃连接——复用前层的激活值——以改善训练收敛性，但这些跳跃连接给 ResNets 的硬件实现带来了挑战。硬件必须等待跳跃连接被处理完后才能处理更多输入数据，或者将它们缓冲到其他位置。如果没有跳跃连接，ResNets 将更具硬件效率。因此，我们提出教师-学生学习方法，逐步剪枝掉 ResNet 的所有跳跃连接，构建出我们称为 NonResNet 的网络。我们表明，当在 FPGA 上实现时，NonResNet 使 ResNet 的 BRAM 利用率降低 9%、LUT 利用率降低 3%，并将吞吐量提高 5%。
引用
@article{arxiv.2102.01351,
title = {Hardware-efficient Residual Networks for FPGAs},
author = {Olivia Weng and Alireza Khodamoradi and Ryan Kastner},
journal= {arXiv preprint arXiv:2102.01351},
year = {2021}
}
备注
Presented at DATE Friday Workshop on System-level Design Methods for Deep Learning on Heterogeneous Architectures (SLOHA 2021) (arXiv:2102.00818)