LayerIF：使用影响函数估计大型语言模型的层质量
计算与语言
2025-10-27 v3 人工智能
机器学习
摘要
预训练大型语言模型（LLMs）在广泛的任务中取得了强劲的性能，但在特定下游应用中，各层的训练质量表现出显著的差异性，限制了其下游性能。因此，以兼顾模型架构和训练数据的方式估计分层训练质量至关重要。然而，现有方法主要依赖于以模型为中心的启发式方法（如谱统计、异常检测或均匀分配），而忽略了数据的影响。为解决这些局限性，我们提出了 LayerIF，这是一个数据驱动的框架，利用影响函数以有原则且对任务敏感的方式量化各层的训练质量。通过隔离每层的梯度并通过计算分层影响来衡量验证损失对训练样本的敏感性，我们得出了关于层重要性的数据驱动估计。值得注意的是，我们的方法为同一个 LLM 生成特定于任务的层重要性估计，揭示了不同层如何针对不同的测试时评估任务进行专门化。我们通过将所得分数用于两个下游应用来展示其效用：LoRA-MoE 架构中的专家分配和 LLM 剪枝的分层稀疏分布。在多种 LLM 架构上的实验表明，我们这种与模型无关的、影响引导的分配在任务性能上带来了一致的提升。
引用
@article{arxiv.2505.23811,
title = {LayerIF: Estimating Layer Quality for Large Language Models using Influence Functions},
author = {Hadi Askari and Shivanshu Gupta and Fei Wang and Anshuman Chhabra and Muhao Chen},
journal= {arXiv preprint arXiv:2505.23811},
year = {2025}
}
备注
Neurips 2025