SNP：结构化神经元剪枝以保留注意力得分
计算机视觉与模式识别
2024-11-05 v1 人工智能
摘要
多头自注意力 (MSA) 是视觉变换器 (ViTs) 的关键组件，已在 various vision tasks 中取得巨大成功。然而，其高计算成本和内存占用阻碍了在资源受限设备上的部署。常规剪枝方法只能通过头剪枝压缩和加速 MSA 模块，尽管头并非原子单元。为此，我们提出一种新颖的图感知神经元级剪枝方法：结构化神经元剪枝 (SNP)。SNP 剪枝注意力得分不够信息的神经元，并消除头之间的冗余。具体而言，它剪枝注意力得分最不信息的图连接查询和键层，以保留整体注意力得分。值层可独立剪枝，以消除跨头冗余。我们的方法有效压缩了基于 Transformer 的模型，适用于边缘设备和服务器处理器。例如，采用 SNP 的 DeiT-Small 比原模型快 3.1 倍，性能比 DeiT-Tiny 快 21.94% 且高出 1.12%。此外，SNP 可成功与常规头剪枝或块剪枝方法结合。采用 SNP 的 DeiT-Base 参数和计算成本可压缩 80%，在 RTX3090 上实现 3.85 倍推理速度，在 Jetson Nano 上实现 4.93 倍。
引用
@article{arxiv.2404.11630,
title = {SNP: Structured Neuron-level Pruning to Preserve Attention Scores},
author = {Kyunghwan Shim and Jaewoong Yun and Shinkook Choi},
journal= {arXiv preprint arXiv:2404.11630},
year = {2024}
}