深度网络的压缩感知训练

近年来，得益于日益加深的神经网络的发展，多种应用领域取得了巨大进展。不幸的是，这些网络庞大的单元数量使其在计算和内存方面代价高昂。为克服此问题，利用深度网络过参数化（over-parametrized）的事实，人们提出了若干压缩策略。然而，这些方法通常从以标准方式训练的网络出发，未考虑此类后续压缩。在本文中，我们提出在训练过程中显式考虑压缩。为此，我们引入一种正则化项，鼓励每层的参数矩阵在训练期间具有低秩。我们表明，在训练中考虑压缩使我们能够学习到比最先进压缩技术更紧凑、但至少同样有效的模型。