通过表征层次解析修剪何时有效

网络修剪通过删除不重要的参数或结构来实现这一目标，常被期待在保持性能的同时提高效率。然而，这一期待在语言任务之间并不始终成立：修剪后的模型在非生成任务上可以表现良好，但在生成式设置中经常失败。为理解这一差异，我们从表征层次视角分析网络修剪，将语言模型的内部计算分解为三个顺序空间：嵌入（隐藏表征）、logit（软最大前输出）和概率（软最大后分布）。我们发现，嵌入空间和logit空间的表征对修剪引起的扰动鲁棒性较大。然而，logit到概率之间的非线性变换会放大这些偏差，随时间步的累积导致生成期间的显著性能下降。相比之下，类别标记概率子空间的稳定性，以及嵌入空间的鲁棒性，支持了针对检索和多选选择等非生成任务有效性的修剪。我们的分析在任务之间解构了修剪效应，为其应用提供了实用指导。代码可在 https://github.com/CASE-Lab-UMD/Pruning-on-Representations 获取。