Tailor：改造跳跃连接以实现资源高效推理
计算机视觉与模式识别
2023-09-19 v2 机器学习
神经与进化计算
摘要
深度神经网络使用跳跃连接来改善训练收敛。然而，这些跳跃连接在硬件上代价高昂，需要额外的缓冲区并增加片上和片外内存利用率及带宽需求。在本文中，我们展示了当采用硬件-软件协同设计方法时，跳跃连接可以为硬件进行优化。我们认为，虽然网络的跳跃连接是网络学习所必需的，但它们随后可以被移除或缩短，以在精度损失极小乃至无损失的情况下提供更高效的硬件实现。我们介绍了 Tailor，一种协同设计工具，其硬件感知训练算法逐步移除或缩短一个完全训练好的网络的跳跃连接，以降低其硬件成本。对于片上数据流风格架构，Tailor 将 BRAM 的资源利用率提高至多 34%，FF 提高 13%，LUT 提高 16%。对于二维处理单元阵列架构，Tailor 将性能提升 30% 并将内存带宽降低 45%。
引用
@article{arxiv.2301.07247,
title = {Tailor: Altering Skip Connections for Resource-Efficient Inference},
author = {Olivia Weng and Gabriel Marcano and Vladimir Loncar and Alireza Khodamoradi and Nojan Sheybani and Andres Meza and Farinaz Koushanfar and Kristof Denolf and Javier Mauricio Duarte and Ryan Kastner},
journal= {arXiv preprint arXiv:2301.07247},
year = {2023}
}