神经网络的任务相关深度 LDA 剪枝
计算机视觉与模式识别
2020-12-29 v6
摘要
随着深度学习的成功，少数流行的深度网络已被广泛用于各种视觉任务。然而，这通常会导致不必要的过高复杂度，以及可能产生许多任务效用低的特征。在本文中，我们通过引入一个基于 Fisher 线性判别分析 (LDA) 的任务相关深度剪枝框架来解决这一问题。该方法可应用于卷积、全连接以及基于模块的深度网络结构，在所有情况下均利用在决策前空间中发现的神经元基序的高去相关性以及跨层反卷积依赖性。此外，我们考察了该方法在特定任务的网络架构搜索中的潜力，并分析了我们的剪枝对模型抵抗噪声和对抗攻击鲁棒性的影响。在通用物体数据集 (ImageNet, CIFAR100) 以及特定领域任务数据集 (Adience 和 LFWA) 上的实验结果表明，我们的框架性能优于现有最先进的剪枝方法和固定的紧凑网络 (例如 SqueezeNet, MobileNet)。所提出的方法在丢弃大部分参数后 (VGG16 丢弃 98%-99%，已紧凑的 InceptionNet 最多丢弃 82%) 仍成功保持了相当的准确率，并显著降低了 FLOPs (VGG16 降低 83%，InceptionNet 最多降低 64%)。通过剪枝，我们还能推导出更小、更准确且更适合该任务的鲁棒模型。
引用
@article{arxiv.1803.08134,
title = {Task dependent Deep LDA pruning of neural networks},
author = {Qing Tian and Tal Arbel and James J. Clark},
journal= {arXiv preprint arXiv:1803.08134},
year = {2020}
}