随机混洗下卷积神经网络中核的低秩嵌入
机器学习
2018-11-01 v1 机器学习
摘要
尽管卷积神经网络（CNN）近年来在各种图像处理和计算机视觉任务中变得流行，但降低资源受限平台上参数存储成本仍然是一个具有挑战性的问题。在先前的研究中，张量分解（TD）通过将卷积层的核嵌入低秩子空间而实现了有前景的压缩性能。然而TD的应用是朴素地作用于核或其指定变体。与常规方法不同，本文表明核可以嵌入更一般甚至随机的低秩子空间。我们通过使用CIFAR-10在标准分类任务上通过随机混洗张量分解（RsTD）压缩卷积层来证明这一点。此外，我们分析了训练数据的空间相似性如何影响核的低秩结构。实验结果表明，即使核被随机混洗，CNN也能被显著压缩。而且，在大范围压缩比下，基于RsTD的方法比传统的基于TD的方法产生更稳定的分类精度。
引用
@article{arxiv.1810.13098,
title = {Low-Rank Embedding of Kernels in Convolutional Neural Networks under Random Shuffling},
author = {Chao Li and Zhun Sun and Jinshi Yu and Ming Hou and Qibin Zhao},
journal= {arXiv preprint arXiv:1810.13098},
year = {2018}
}