MICIK：挖掘跨层固有相似性知识用于深度模型压缩
计算机视觉与模式识别
2019-02-05 v1
摘要
最先进的深度模型压缩方法利用低秩近似与稀疏剪枝来移除已学习隐藏层中的冗余参数。然而，它们逐层独立处理，忽视了跨层的公共成分，因而无法充分挖掘用于压缩的潜在冗余空间。为解决上述问题并实现模型的进一步压缩，有必要去除跨层冗余并挖掘逐层继承知识。本文引入一种整体模型压缩框架，即挖掘跨层固有相似性知识（MICIK），以充分发掘潜在冗余空间。所提 MICIK 框架同时：(1) 学习深度神经网络各层间的公共与独有权重成分以提高压缩率；(2) 保留邻近层与远端层固有的相似性知识以最小化精度损失；(3) 可与其他现有压缩技术（如知识蒸馏）互补。在大规模卷积神经网络上的大量实验表明，MICIK 优于最先进的模型压缩方法，在 VGG-16 上实现 16 倍参数缩减、在 GoogLeNet 上实现 6 倍缩减，且均无精度损失。
引用
@article{arxiv.1902.00918,
title = {MICIK: MIning Cross-Layer Inherent Similarity Knowledge for Deep Model Compression},
author = {Jie Zhang and Xiaolong Wang and Dawei Li and Shalini Ghosh and Abhishek Kolagunda and Yalin Wang},
journal= {arXiv preprint arXiv:1902.00918},
year = {2019}
}
备注
10 pages, 4 figures