通过针对层的低秩分解加速ResNet架构
计算机视觉与模式识别
2023-09-25 v1 机器学习
摘要
神经网络压缩有助于加速网络的训练和推理。在本研究中，我们探讨对网络层应用低秩分解压缩。我们的研究表明，为获得加速，压缩方法应感知底层硬件，并应通过进行分析来选择压缩哪些层。我们以压缩ResNet50并在完整ImageNet-ILSVRC2012上训练为例证展示了本方法的优势。我们在Nvidia V100和华为Ascend910两种不同硬件系统上进行了测试。通过面向硬件的压缩，在Ascend910上训练加速5.36%，在Ascend310上推理加速15.79%，与原始未压缩模型相比精度仅下降1%。
引用
@article{arxiv.2309.12412,
title = {Speeding up Resnet Architecture with Layers Targeted Low Rank Decomposition},
author = {Walid Ahmed and Habib Hajimolahoseini and Austin Wen and Yang Liu},
journal= {arXiv preprint arXiv:2309.12412},
year = {2023}
}