面向边缘设备的注意力图引导Transformer剪枝
计算机视觉与模式识别
2023-04-05 v1
摘要
由于其建模长程依赖关系的显著能力，视觉Transformer（ViT）在整体与遮挡行人重识别（Re-ID）任务中均取得了令人瞩目的成功。然而，Transformer固有的问题，如巨大的计算成本和内存占用，仍是两个未解决的难题，它们会阻碍基于ViT的行人Re-ID模型在资源受限的边缘设备上的部署。我们的目标是在不牺牲行人Re-ID上可比精度的前提下降低推理复杂度和模型大小，尤其是对于存在遮挡的任务。为此，我们提出了一种新颖的注意力图引导（AMG）Transformer剪枝方法，该方法在注意力图的引导下以硬件友好的方式移除冗余token和head。我们首先计算键维度上的熵并对整张图求和，熵值较高的图所对应的head参数将被移除以缩减模型大小。然后我们结合键token沿查询维度的相似度与一阶梯度进行token重要性估计，并移除冗余的键和值token以进一步降低推理复杂度。在Occluded DukeMTMC和Market-1501上的综合实验证明了我们方法的有效性。例如，我们在ViT-Base上提出的剪枝策略分别享受了29.4%的FLOPs节省，以及Rank-1上0.2%的下降和mAP上0.4%的提升。
引用
@article{arxiv.2304.01452,
title = {Attention Map Guided Transformer Pruning for Edge Device},
author = {Junzhu Mao and Yazhou Yao and Zeren Sun and Xingguo Huang and Fumin Shen and Heng-Tao Shen},
journal= {arXiv preprint arXiv:2304.01452},
year = {2023}
}
备注
accepted by IEEE Transactions on Multimedia