策略融合优化 Transformer 压缩

本研究通过系统地修剪 Transformer 模型的层来调查其压缩。我们在九个多样化的数据集上评估了 14 种修剪策略，其中 12 种策略基于从层激活、互信息、梯度、权重和注意力中获得的不同信号。为了解决单信号策略的局限性，我们引入了两种融合策略，线性回归和随机森林，它们结合了各个单独策略（即策略融合），以做出更明智的修剪决策。此外，我们应用了知识蒸馏以减轻层修剪过程中的任何精度损失。我们的结果显示，随机森林策略融合在九个数据集中的七个上优于单一策略，并在其余两个上实现了接近最优的性能。经过蒸馏的随机森林在六个数据集上超越了原始精度，并在其余三个数据集上缓解了精度下降。知识蒸馏还在所有数据集上将精度与大小的比率平均提高了 18.84 倍。在数学基础和生物学类比的支持下，我们的研究结果表明，策略性地结合多种信号可以为资源受限的应用带来高效、高性能的 Transformer 模型。