OrthoReg：基于正交归一化正则化的鲁棒网络剪枝方法
计算机视觉与模式识别
2020-09-11 v1 机器学习
摘要
卷积神经网络(CNNs)中的网络剪枝近年来已被广泛研究。为了确定剪除一组滤波器对网络精度的影响，最先进的剪枝方法一贯假设 CNN 的滤波器是相互独立的。这使得一组滤波器的重要性可被估计为各个滤波器重要性之和。然而，现代网络中的过参数化导致滤波器高度相关，从而使该假设失效，进而造成重要性估计错误。为解决此问题，我们提出 OrthoReg，一种原则性的正则化策略，它对网络滤波器施加正交归一性以减小滤波器间相关性，从而能够实现可靠、高效的一组重要性估计、提升剪枝网络的可训练性，以及高效、同时剪除大组滤波器。当在 VGG-13、MobileNet-V1 和 ResNet-34 上用于迭代剪枝时，OrthoReg 在 CIFAR-100 和 Tiny-ImageNet 上持续优于五种基线技术，包括最先进的方法。针对最近提出的 Early-Bird Ticket 假设（该假设声称网络在训练早期即适于剪枝，并可在若干轮后剪枝以最小化训练开销），我们发现 OrthoReg 显著优于先前工作。代码见 https://github.com/EkdeepSLubana/OrthoReg。
引用
@article{arxiv.2009.05014,
title = {OrthoReg: Robust Network Pruning Using Orthonormality Regularization},
author = {Ekdeep Singh Lubana and Puja Trivedi and Conrad Hougen and Robert P. Dick and Alfred O. Hero},
journal= {arXiv preprint arXiv:2009.05014},
year = {2020}
}