幽灵层：用于恢复被剪裁LLM的无约束激活对齐
机器学习
2026-05-18 v1 人工智能
性能
摘要
层级剪裁从大型语言模型中移除 entire Transformer 解码器块，但会导致隐藏状态接收后续存活层与其训练时处理的分布不匹配，导致显著的性能下降。我们提出Ghosted Layers，通过解决边界激活对齐问题来解决这一问题的一个训练-free恢复模块。我们的method从小型校准集派生出一个闭式最优线性算子，以重建被剪裁层引入的激活差异。我们展示了该解答对应于对齐目标的无约束最优解，而现有方法受限于受限算子子空间。实验在多个LLM backbone和剪裁策略上表明，我们的方法在保持层级剪裁效率收益的同时， consistently 改进了准确率和 perplexity。
关键词
引用
@article{arxiv.2605.15491,
title = {Ghosted Layers: Unconstrained Activation Alignment for Recovering Layer-Pruned LLMs},
author = {Vincent-Daniel Yun and Junhyuk Jo and Sai Praneeth Karimireddy and Sunwoo Lee},
journal= {arXiv preprint arXiv:2605.15491},
year = {2026}
}