基于低困惑度标记学习的LLM微调遗忘缓解
计算与语言
2025-12-12 v7
摘要
在机器学习中，保持模型在不同领域间的一致性能是根本性挑战。虽然近期研究探索了使用LLM生成数据进行微调，但其对跨域泛化的影响仍知之甚少。本文提出系统性分析，揭示使用LLM生成数据进行微调不仅提升目标任务性能，还降低了相对于使用真实数据进行微调的非目标任务性能下降。通过分析不同领域任务中数据序列的特征，我们表明这种对非目标任务鲁棒性提升源于对LLM生成序列中高困惑度标记的减少。基于我们的发现，我们进一步表明，在真实训练数据中屏蔽高困惑度标记即可实现与使用LLM生成数据相当的非目标任务性能保持。广泛实验包括Gemma 2 IT 2B、Llama 3 8B Instruct以及另外三种模型，都与我们的发现一致。就本文而言，这是首次基于标记困惑度降低为缓解LLM微调后遗忘现象提供实证解释，为开发更稳健的微调策略提供了宝贵洞见。
引用
@article{arxiv.2501.14315,
title = {Mitigating Forgetting in LLM Fine-Tuning via Low-Perplexity Token Learning},
author = {Chao-Chung Wu and Zhi Rui Tam and Chieh-Yen Lin and Yun-Nung Chen and Shao-Hua Sun and Hung-yi Lee},
journal= {arXiv preprint arXiv:2501.14315},
year = {2025}
}
备注
The Thirty-ninth Annual Conference on Neural Information Processing Systems