ALF：基于自编码器的低秩滤波器共享以实现高效卷积神经网络
机器学习
2020-07-28 v1 计算机视觉与模式识别
机器学习
摘要
缩小最先进卷积神经网络的硬件需求与制约嵌入式应用的有限资源之间的差距是深度学习研究的下一个重大挑战。此类神经网络的计算复杂度和内存占用通常令其在资源受限环境中的部署望而却步。模型压缩技术，如剪枝，在其他优化方法中被着重强调以解决该问题。大多数现有技术需要领域专长或导致不规则稀疏表示，增加了在嵌入式硬件加速器上部署深度学习应用的负担。在本文中，我们提出基于自编码器的低秩滤波器共享技术（ALF）。当应用于各种网络时，ALF 与最先进的剪枝方法进行比较，在理论指标以及精确的确定性硬件模型上均展示了其高效的压缩能力。在我们的实验中，ALF 显示出网络参数减少 70%、运算量减少 61%、执行时间减少 41%，且精度损失极小。
引用
@article{arxiv.2007.13384,
title = {ALF: Autoencoder-based Low-rank Filter-sharing for Efficient Convolutional Neural Networks},
author = {Alexander Frickenstein and Manoj-Rohit Vemparala and Nael Fasfous and Laura Hauenschild and Naveen-Shankar Nagaraja and Christian Unger and Walter Stechele},
journal= {arXiv preprint arXiv:2007.13384},
year = {2020}
}
备注
Accepted by DAC'20