当部分大于整体：单个LLM组件可超越完整模型

本文通过将大型语言模型的输出分解为注意力头和MLP（组件）的个体贡献来研究上下文学习。我们观察到了奇特的组件：一些表现良好的组件在分类任务上单独表现优异，即使模型整体表现不佳；一些表现不佳的组件比随机猜测还要差得多；以及存在标签偏置的组件，它们总是预测相同的标签。我们发现，在不同的示例集和提示模板扰动下，组件准确率之间存在良好的相关性。基于我们的发现，我们提出了组件重加权方法，该方法从少量标注样本中学习线性地重新缩放组件激活值。在Llama-2-7B模型的8个任务上，仅使用24个标注样本，我们的方法相比24-shot ICL平均提高了6.0个准确率百分点。总体而言，本文既丰富了我们对上下文学习的理解，也通过检查模型内部结构提供了一种实用的改进方法。