通过奇异向量正交正则化与奇异值稀疏化学习低秩深度神经网络
机器学习
2020-04-21 v1 机器学习
摘要
现代深度神经网络（DNNs）常需高内存消耗与巨大计算负载。为在边缘或移动设备上高效部署DNN算法，一系列DNN压缩算法已被探索，包括分解方法。分解方法用两个或多个低秩矩阵的乘积近似DNN层的权重矩阵。然而，训练过程中难以度量DNN层的秩。先前工作主要通过隐式近似或在每步训练上代价高昂的奇异值分解（SVD）来诱导低秩。前者常带来高精度损失，后者效率低。本工作中，我们提出SVD训练，是首个在训练中显式实现低秩DNN且无需每步施加SVD的方法。SVD训练先将每层分解为其满秩SVD形式，再直接在分解后权重上训练。我们对奇异向量加正交正则化，以确保SVD有效形式并避免梯度消失/爆炸。通过对每层奇异值施加诱导稀疏的正则器来鼓励低秩。末段施加奇异值剪枝以显式得到低秩模型。我们实证表明，与先前分解方法乃至最先进滤波器剪枝方法相比，SVD训练能显著降低DNN层秩，并在同等精度下更大程度削减计算负载。
引用
@article{arxiv.2004.09031,
title = {Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification},
author = {Huanrui Yang and Minxue Tang and Wei Wen and Feng Yan and Daniel Hu and Ang Li and Hai Li and Yiran Chen},
journal= {arXiv preprint arXiv:2004.09031},
year = {2020}
}
备注
In proceeding of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). To be presented at EDLCV 2020 workshop co-located with CVPR 2020