基于寿命回归的视觉 Transformer 补丁瘦身方法
计算机视觉与模式识别
2023-04-12 v1
摘要
视觉 transformer 通过使用多头自注意力模块捕捉图像内的长程依赖，在计算机视觉任务中取得了显著成功。然而，高推理计算成本带来了新的挑战。已有若干方法主要通过对补丁瘦身来解决该问题。在推理阶段，这些方法将补丁分为两类，在多个层中一类保留、另一类丢弃。这种做法在每次丢弃补丁的层都引入了额外计算，阻碍了推理加速。在本研究中，我们从不同角度解决补丁瘦身问题，提出一个寿命回归模块，一次性确定每个图像补丁的存活时长。在推理时，一旦当前层索引超过其寿命，该补丁即被丢弃。我们提出的方法避免了在多层中的额外计算与参数，从而在保持有竞争力性能的同时提升推理速度。此外，我们的方法所需训练轮数少于其他补丁瘦身方法。
引用
@article{arxiv.2304.04926,
title = {Life Regression based Patch Slimming for Vision Transformers},
author = {Jiawei Chen and Lin Chen and Jiang Yang and Tianqi Shi and Lechao Cheng and Zunlei Feng and Mingli Song},
journal= {arXiv preprint arXiv:2304.04926},
year = {2023}
}
备注
8 pages,4 figures