HOTCAKE：用于更深层次 CNN 压缩的高阶 Tucker 铰接核
机器学习
2020-03-02 v1 计算机视觉与模式识别
机器学习
摘要
新兴的边缘计算极大地激发了在不牺牲过多精度的情况下压缩神经网络的兴趣。在这方面，低秩张量分解通过将 4 阶核张量分解为多阶段较小张量，构成了压缩卷积神经网络（CNN）的有力工具。在 Tucker-2 分解的基础上，我们提出了一种广义的高阶 Tucker 铰接核（HOTCAKE）方案，包含四个步骤：输入通道分解、引导式 Tucker 秩选择、高阶 Tucker 分解和微调。通过对每个 CONV 层施加 HOTCAKE，可获得具有良好精度权衡的高度压缩 CNN 模型。实验表明，HOTCAKE 甚至可以压缩已预压缩的模型，并产出最先进的轻量级网络。
引用
@article{arxiv.2002.12663,
title = {HOTCAKE: Higher Order Tucker Articulated Kernels for Deeper CNN Compression},
author = {Rui Lin and Ching-Yun Ko and Zhuolun He and Cong Chen and Yuan Cheng and Hao Yu and Graziano Chesi and Ngai Wong},
journal= {arXiv preprint arXiv:2002.12663},
year = {2020}
}
备注
6 pages, 5 figures