分析 LLM 微调过程中噪声的影响
机器学习
2026-04-15 v1
摘要
微调是适配大语言模型（LLM）以应用于下游 NLP 任务的主导范式。实际情况下，微调数据集可能包含由标注错误、预处理残留或自动数据收集引起的各种形式噪声。虽然先前研究聚焦于设计稳健的学习算法以缓解在噪声环境下的性能下降，但关于不同类型噪声如何影响 LLM 在微调期间内部学习动力学的研究仍寡言少有。本文系统性地研究了噪声对模型行为的影响，涉及三个预训练模型家族（GPT-2、Qwen2 和 Llama-2）以及三个多样化的 NLP 任务。我们引入了三种常见现实噪声类型的受控扰动：标签噪声、语法噪声和拼写错误噪声。除任务级性能外，我们还分析了层级表示变化和注意力模式，以理解噪声如何在网络中传播。我们的结果表明，破坏标签（即标签噪声）始终导致最大的性能下降，而语法噪声和拼写错误噪声则偶尔可获得轻微的正则化效益。进一步地，我们发现噪声效应主要局限于任务特定层，而注意力结构则相对稳定。
引用
@article{arxiv.2604.12469,
title = {Analyzing the Effect of Noise in LLM Fine-tuning},
author = {Lingfang Li and Procheta Sen},
journal= {arXiv preprint arXiv:2604.12469},
year = {2026}
}