面向 CNN 的低秩近似学习
机器学习
2019-05-27 v1 机器学习
摘要
低秩近似是一种有效的模型压缩技术，不仅可降低参数存储需求，还可减少计算量。然而对于卷积神经网络（CNNs），知名的的低秩近似方法（如 Tucker 或 CP 分解）会导致模型精度下降，因为分解后的层阻碍训练收敛。本文提出一种新训练技术，在低秩近似视角下寻找平坦极小值，且训练期间无需分解结构。通过保留原始模型结构，我们所提方案可使用需降维的二维低秩近似（如 im2col）。我们展示 CNN 模型经低秩近似压缩，相较常规训练方法可达到更高压缩比，同时保持甚至提升模型精度。我们还探讨了多种面向 CNNs 的二维低秩近似技术。
引用
@article{arxiv.1905.10145,
title = {Learning Low-Rank Approximation for CNNs},
author = {Dongsoo Lee and Se Jung Kwon and Byeongwook Kim and Gu-Yeon Wei},
journal= {arXiv preprint arXiv:1905.10145},
year = {2019}
}