Grow-Push-Prune：对齐深度判别量以实现有效的结构化网络压缩
计算机视觉与模式识别
2021-10-05 v3 机器学习
摘要
当今大多数流行的深度架构都是手工设计的通才模型。然而，这种设计流程通常会导致针对特定任务存在大量冗余、无用甚至有害的特征。不必要的高复杂度使得深度网络在许多现实应用中（尤其是那些没有强大 GPU 支持的应用）难以实用。本文中，我们试图从深度判别分析的角度推导任务相关的紧凑模型。我们提出了一种针对分类任务的迭代式主动方法，其在以下两步间交替：（1）推动步，目标是同时最大化类间分离、惩罚协方差，并将深度判别量推入与一组紧凑神经元对齐；（2）剪枝步，丢弃用处较小甚至产生干扰的神经元。我们采用反卷积来逆转“不重要”滤波器的影响并恢复有用的贡献源。针对需要比基础网络更大容量的挑战性任务，提出了一种基于基础 Inception 模块的简单网络生长策略。在 MNIST、CIFAR10 和 ImageNet 数据集上的实验证明了我们方法的有效性。在 ImageNet 上，通过推动并剪枝我们生长的 Inception-88 模型，我们得到了比生长过程中生成的 Inception 网络、残差网络以及同等规模下流行紧凑网络更精确的模型。我们还展示了我们生长的 Inception 网络（无硬编码维度对齐）明显优于复杂度相近的残差网络。
引用
@article{arxiv.2009.13716,
title = {Grow-Push-Prune: aligning deep discriminants for effective structural network compression},
author = {Qing Tian and Tal Arbel and James J. Clark},
journal= {arXiv preprint arXiv:2009.13716},
year = {2021}
}