MEC：面向深度神经网络的内存高效卷积
机器学习
2017-06-22 v1 计算机视觉与模式识别
摘要
卷积是现代深度神经网络中的关键组成部分，因此已发展出多种卷积算法。直接卷积简单但性能不佳。作为替代，已提出多种间接方法，包括基于im2col的卷积、基于FFT的卷积或基于Winograd的算法。然而，所有这些间接方法都有很高的内存开销，这会导致性能下降，并在性能和内存消耗之间提供较差的权衡。在这项工作中，我们提出了一种内存高效卷积（MEC），它具有紧凑的降维（lowering）方式，可大幅减少内存开销并加速卷积过程。MEC以一种简单而高效/紧凑的方式（即内存开销少得多）对输入矩阵进行降维，然后并行执行多个小矩阵乘法以完成卷积。此外，减少的内存占用提高了内存子系统效率，从而提升了性能。我们的实验结果表明，与其他间接卷积算法相比，MEC在移动平台和服务器平台上均显著降低了内存消耗，并具有良好的加速效果。
引用
@article{arxiv.1706.06873,
title = {MEC: Memory-efficient Convolution for Deep Neural Network},
author = {Minsik Cho and Daniel Brand},
journal= {arXiv preprint arXiv:1706.06873},
year = {2017}
}
备注
ICML2017