通过神经元剪枝消除类比学习中的复制偏差
计算与语言
2024-10-04 v2 机器学习
摘要
大语言模型（LLMs）在少样本类比学习（ICL）方面展现出惊人的能力，但我们发现其有时会产生`复制偏差'，即模型会复制提供示例中的答案而非学习内在模式。为消除此类偏差，本文提出一种新颖且简单的方法。首先，我们创建了一个合成任务，并使用积分梯度法识别优先复制而非泛化的神经元。我们证明，剪枝这些神经元在多样化的ICL任务上能一致提升性能。我们还表明该方法适用于各种LLM架构，包括Transformer和状态空间模型，无需修改。我们的分析采用ICL的任务识别视角，考察了由模型诱导的任务向量（Hendel等，2023）。我们发现，剪枝可提升这些向量的质量，表明被剪枝的神经元曾阻碍了有效的任务识别。
引用
@article{arxiv.2410.01288,
title = {Mitigating Copy Bias in In-Context Learning through Neuron Pruning},
author = {Ameen Ali and Lior Wolf and Ivan Titov},
journal= {arXiv preprint arXiv:2410.01288},
year = {2024}
}