探究面向语言目标的修剪局限性：多语言 LLM 修剪中的校准语言影响

近期大语言模型 (LLM) 修剪技术取得了在无需再训练或仅进行后训练设置下保持高预测性能的领先压缩结果。然而，之前的研究主要考虑基于英语文本进行校准，尽管现代 LLM 具有多语言性且经常用于非英语语言。本分析论文深入调查了针对单语应用对多语言语言模型进行修剪时，不同校准语言的性能及其内部表示变化。我们提出了首个全面实证研究，比较了在多样化语言、任务、模型和领先修剪技术下，不同校准语言对多语言模型修剪的影响。我们进一步分析了被修剪模型中的潜在子空间、修剪掩码以及单个神经元。我们的结果揭示，尽管基于目标语言进行校准有效地保留了困惑度并产生高信噪比，但它并不一致地提高下游任务性能。进一步的分析在三个不同层次上揭示了当前修剪方法的更广泛局限性：虽然它们有效地保留了类似语言的特征，但这不足以抵消对细粒度、语言无关特征损失，这些特征对知识保留和推理至关重要。