SEAP：无训练稀疏专家激活剪枝，释放大语言模型的潜能
计算与语言
2025-03-11 v1
摘要
大型语言模型在各种自然语言处理任务上取得了显著的成功，但其在推理期间的高计算成本仍是主要瓶颈。本文引入稀疏专家激活剪枝（Sparse Expert Activation Pruning, SEAP），这是一种无训练剪枝方法，通过选择性保留任务相关参数来降低推理开销。受LLM中隐藏状态和激活聚类模式的启发，SEAP识别任务特定的专家激活模式，在保持任务性能的同时提高计算效率。实验结果表明，SEAP显著降低了计算开销，同时保持竞争的准确率。值得注意的是，在50%剪枝时，SEAP比WandA和FLAP的性能均超过20%；在20%剪枝时，仅比稠密模型差2.2%。这些发现凸显了SEAP的可扩展性和有效性，使其成为优化大规模LLM的有前景的方法。
引用
@article{arxiv.2503.07605,
title = {SEAP: Training-free Sparse Expert Activation Pruning Unlock the Brainpower of Large Language Models},
author = {Xun Liang and Hanyu Wang and Huayi Lai and Simin Niu and Shichao Song and Jiawei Yang and Jihao Zhao and Feiyu Xiong and Bo Tang and Zhiyu Li},
journal= {arXiv preprint arXiv:2503.07605},
year = {2025}
}
备注
15 pages, 7 figures, 8 tables