数据稀缺情境下LLM适应方法的比较分析：SFT、LoRA与ICL
机器学习
2025-11-05 v2
摘要
大型语言模型（LLM）的卓越能力往往需要针对特定应用进行定制化，需要集成新知识或获取新技能。虽然完全微调是一种强大的适应方法，但计算成本高昂且可能导致通用推理能力的退化，称为灾难性遗忘。存在一系列替代技术，每种技术都有其权衡。在上下文学习（ICL）速度快，但受上下文长度限制，而参数高效微调（PEFT）方法如低秩适应（LoRA）则通过最小化参数变化提供了折中的方案。然而，灾难性遗忘的挑战依然存在，引发关于在特定任务中选择哪种适应策略的疑问。本文在数据稀缺情境下对监督微调（SFT）、LoRA和ICL进行比较分析。我们发现LoRA提供了最有效的平衡，成功地在对基础模型通用知识影响最小的前提下赋予新技能。相比之下，尽管SFT在技能获取方面表现出色，但高度易受灾难性遗忘的影响。ICL对于整合事实知识有效，但在处理复杂技能方面存在挑战。我们的发现为选择LLM适应策略提供了实用框架。我们强调了技能获取与知识集成之间的关键区别，阐明了任务特定性能与保持通用能力之间权衡的关系。
引用
@article{arxiv.2511.00130,
title = {A Comparative Analysis of LLM Adaptation: SFT, LoRA, and ICL in Data-Scarce Scenarios},
author = {Bernd Bohnet and Rumen Dangovski and Kevin Swersky and Sherry Moore and Arslan Chaudhry and Kathleen Kenealy and Noah Fiedel},
journal= {arXiv preprint arXiv:2511.00130},
year = {2025}
}