CORP：面向 Transformer 的闭形式单次表示保持结构化剪枝
机器学习
2026-05-12 v2 计算机视觉与模式识别
摘要
Transformer 虽然实现了强大的准确率，但计算和内存成本较高。结构化剪枝可降低推理成本，但大多数方法依赖重新训练或多阶段优化，限制了后训练部署。我们提出 CORP，一种闭形式单次结构化剪枝方法，通过仅使用无标签校准数据（无梯度或微调）来删除 MLP 维度和注意力子结构。CORP 将结构化剪枝表述为表示恢复问题。它将被删除的组件建模为保留组件的仿射函数，并推导闭形式岭回归解，将补偿折叠到模型权重中。这最小化了在校准分布下层局部仿射/逻辑重构目标。在 ImageNet 上的 DeiT 实验揭示了 MLP 和注意力表示中的强冗余。CORP 可在激进稀疏性下保持高准确率。对 DeiT-Huge，CORP 在剪枝 50% 的 MLP 和注意力结构后实现 83.27% 的 Top-1 准确率。
关键词
引用
@article{arxiv.2602.05243,
title = {CORP: Closed-Form One-shot Representation-Preserving Structured Pruning for Transformers},
author = {Boxiang Zhang and Baijian Yang},
journal= {arXiv preprint arXiv:2602.05243},
year = {2026}
}