PaPr:基于轻量级 ConvNets 的免训练单步块剪枝以实现更快推理
计算机视觉与模式识别
2024-07-04 v2
摘要
随着深度神经网络从卷积神经网络(ConvNets)演进至先进的视觉 Transformer(ViTs),如何在不损失精度的前提下消除冗余数据以加速处理的需求日益增长。既有方法往往针对特定架构或需要重新训练,在模型频繁更新的情况下其适用性受到限制。为解决此问题,我们首先揭示了轻量级 ConvNets 的一项新特性:无论模型最终精度或规模如何,它们均具备识别图像中关键判别性块区域的能力。我们证明全连接层是 ConvNets 性能的主要瓶颈,通过简单的权重再校准抑制全连接层可显著提升判别性块定位性能。基于这一洞见,我们提出了 PaPr,一种利用轻量级 ConvNets 在多种深度学习架构(包括 ViTs、ConvNets 以及混合 Transformer)中大幅剪除冗余块而几乎不损失精度、且无需任何重新训练的方法。此外,PaPr 在早期阶段进行的简单单步块剪枝还能增强现有的块缩减方法。通过对多种架构的广泛测试,PaPr 在相似的 FLOPs 削减量下,精度显著优于当前最先进的块缩减方法。具体而言,PaPr 在视频中削减了约 70% 的冗余块,精度下降不足 0.8%,并实现了高达 3.7 倍的 FLOPs 削减,即在精度高出 2.5% 的同时多削减 15% 的 FLOPs。代码已在 https://github.com/tanvir-utexas/PaPr 发布。
引用
@article{arxiv.2403.16020,
title = {PaPr: Training-Free One-Step Patch Pruning with Lightweight ConvNets for Faster Inference},
author = {Tanvir Mahmud and Burhaneddin Yaman and Chun-Hao Liu and Diana Marculescu},
journal= {arXiv preprint arXiv:2403.16020},
year = {2024}
}
备注
Accepted in ECCV 2024. Code: https://github.com/tanvir-utexas/PaPr