面向目标检测的分组通道剪枝与空间注意力蒸馏
计算机视觉与模式识别
2023-06-05 v1 人工智能
摘要
由于神经网络的过参数化，许多基于剪枝和量化的模型压缩方法应运而生。它们在减小模型尺寸、参数数量和计算复杂度方面表现突出。然而，此类方法压缩后的多数模型需要特殊硬件与软件的支持，增加了部署成本。此外，这些方法主要用于分类任务，很少直接用于检测任务。为解决这些问题，针对目标检测网络我们提出了一种三阶段模型压缩方法：动态稀疏训练、分组通道剪枝与空间注意力蒸馏。首先，为选出网络中不重要的通道并维持稀疏度与精度间的良好平衡，我们提出一种动态稀疏训练方法，其引入可变稀疏率，且稀疏率随网络训练过程变化。其次，为降低剪枝对网络精度的影响，我们提出一种称为分组通道剪枝的新型剪枝方法。具体而言，我们根据特征层尺度与网络中模块结构的相似性将网络划分为多个组，然后使用不同剪枝阈值对各组通道进行剪枝。最后，为恢复剪枝后网络的精度，我们对剪枝网络采用一种改进的知识蒸馏方法。特别地，我们从各组中特定尺度的特征图提取空间注意力信息作为蒸馏知识。实验中，我们使用 YOLOv4 作为目标检测网络，PASCAL VOC 作为训练数据集。我们的方法使模型参数减少 64.7%，计算量降低 34.9%。
引用
@article{arxiv.2306.01526,
title = {Group channel pruning and spatial attention distilling for object detection},
author = {Yun Chu and Pu Li and Yong Bai and Zhuhua Hu and Yongqing Chen and Jiafeng Lu},
journal= {arXiv preprint arXiv:2306.01526},
year = {2023}
}
备注
Appl Intell