剪枝前思考：针对大规模推理模型的选择性自生成校准
计算与语言
2025-11-25 v1
摘要
大规模推理模型（LRMs）在复杂推理基准测试中展现出惊人的性能，但其长链式思维推理过程导致显著的推理开销。剪枝作为一种减少计算成本的有前景的方法，尚未在 LRMs 上得到探索。本文对 LRMs 的剪枝进行首次实证研究，表明直接应用现有剪枝技术无法获得令人满意的结果。我们的发现表明，使用自生成推理数据进行校准可显著提高剪枝性能。我们进一步研究了推理数据的难度和长度如何影响剪枝结果。我们的分析表明，具有挑战性且长度适中的自生成推理数据是理想的校准数据。基于这些发现，我们提出了选择性自生成推理（SSGR）数据构建策略，为 LRMs 提供有效的校准数据。在 DeepSeek-R1-Distill 模型系列上进行实验，验证了该策略比通用剪枝方法提高了 10%-13% 的推理能力。
引用
@article{arxiv.2511.18864,
title = {Think Before You Prune: Selective Self-Generated Calibration for Pruning Large Reasoning Models},
author = {Yang Xiang and Yixin Ji and Juntao Li and Min Zhang},
journal= {arXiv preprint arXiv:2511.18864},
year = {2025}
}
备注
Under Review