GOHSP：面向视觉Transformer的图与优化驱动的异构结构化剪枝统一框架
人工智能
2023-02-08 v2 计算机视觉与模式识别
摘要
最近提出的视觉Transformer（ViTs）在各种计算机视觉任务中表现出非常令人印象深刻的经验性能，它们被视为一种重要的基础模型。然而，ViT 通常以大规模尺寸构建，这严重阻碍了它们在许多实际资源受限应用中的潜在部署。为了缓解这一挑战性问题，结构化剪枝是一种有前景的解决方案，可以压缩模型尺寸并实现实际效率。然而，与目前在 CNN 和 RNN 上的流行程度不同，针对 ViT 模型的结构化剪枝探索甚少。在本文中，我们提出了 GOHSP，一个面向 ViT 模型的图与基于优化的异构结构化剪枝统一框架。我们首先开发了一种基于图的排序方法来衡量注意力头的重要性，然后将提取的重要性信息进一步集成到基于优化的过程中，以在 ViT 模型上施加异构结构化稀疏模式。实验结果表明，我们提出的 GOHSP 展示了出色的压缩性能。在 CIFAR-10 数据集上，我们的方法可以在不损失精度的情况下为 ViT-Small 模型减少 40% 的参数。在 ImageNet 数据集上，对于 DeiT-Tiny 和 DeiT-Small 模型，在 30% 和 35% 的稀疏率下，我们的方法分别比现有的结构化剪枝方法实现了 1.65% 和 0.76% 的精度提升。
引用
@article{arxiv.2301.05345,
title = {GOHSP: A Unified Framework of Graph and Optimization-based Heterogeneous Structured Pruning for Vision Transformer},
author = {Miao Yin and Burak Uzkent and Yilin Shen and Hongxia Jin and Bo Yuan},
journal= {arXiv preprint arXiv:2301.05345},
year = {2023}
}
备注
This manuscript was accepted to AAAI 2023 Main Track