分组结构化全局剪枝对视觉转换器领域泛化效果的影响
计算机视觉与模式识别
2025-04-08 v1 机器学习
摘要
随着大型语言模型（LLM）和视觉转换器等 AI 模型规模的不断增大，在计算资源有限的设备上部署它们对于应对领域泛化（DG）任务构成了重要挑战。本文引入了一种 novel 的分组结构化剪枝方法，用于预训练的视觉转换器（ViT、BeiT 和 DeiT），在 PACS 和 Office-Home DG 基准上进行评估。该方法利用依赖图分析识别并删除转换器中冗余的神经元、权重、滤波器或注意力头所构成的冗余组，该组可由多种选择指标进行筛选。以 50%、75% 和 95% 的剪枝比例应用分组结构化剪枝，然后在 DG 基准中选取的分布上进行微调，以评估其在 DG 任务中的整体性能。结果表明，推理速度和微调时间显著提升，而准确率和 DG 任务性能几乎没有明显下降。例如，在 PACS 基准上，使用 Hessian 指标将 ViT、BeiT 和 DeiT 模型分别剪枝 50%，其准确率下降分别仅为 -2.94%、-1.42% 和 -1.72%，同时实现了 2.5 倍、1.81 倍和 2.15 倍的速度提升。这些发现表明，我们的方法在模型效率与领域泛化性能之间取得了有效的平衡。
关键词
引用
@article{arxiv.2504.04196,
title = {The Effects of Grouped Structural Global Pruning of Vision Transformers on Domain Generalisation},
author = {Hamza Riaz and Alan F. Smeaton},
journal= {arXiv preprint arXiv:2504.04196},
year = {2025}
}
备注
9 pages