参数高效持续微调：综述
机器学习
2025-08-20 v2 人工智能
摘要
大型预训练网络的出现 revolutionized了人工智能领域，开辟了新的可能性并实现了空前的性能。然而，这些模型继承了传统机器学习方法的根本局限：其对 \textit{i.i.d.} 假设的强依赖妨碍了其适应动态学习场景的能力。我们认为，人工智能的下一突破在于使模型能够适应不断变化的环境——例如现实世界——在这种环境中，新数据和任务会顺序到达。这一挑战定义了持续学习 (Continual Learning, CL) 领域，这是一种专注于开发终身学习神经模型的机器学习范式。一种高效适应这些大规模模型的方法是参数高效微调 (Parameter-Efficient Fine-Tuning, PEFT)。这些方法通过进行小而高效的修改来适应特定数据或情景，实现了与完整微调相似的性能。然而，这些技术仍无法持续适应多个任务，因为它们受到灾难性遗忘 (Catastrophic Forgetting) 的制约。在本综述中，我们首先提供对 CL 算法和 PEFT 方法的概览，然后评审参数高效持续微调 (Parameter-Efficient Continual Fine-Tuning, PEFT) 的最新进展。我们检查了各种方法，讨论了评估指标，并探讨了潜在的未来研究方向。我们的目标是凸显 CL 与参数高效微调之间的协同作用，为该领域的研究者指引方向，并为 novel 的未来研究方向铺路。
引用
@article{arxiv.2504.13822,
title = {Parameter-Efficient Continual Fine-Tuning: A Survey},
author = {Eric Nuertey Coleman and Luigi Quarantiello and Ziyue Liu and Qinwen Yang and Samrat Mukherjee and Julio Hurtado and Vincenzo Lomonaco},
journal= {arXiv preprint arXiv:2504.13822},
year = {2025}
}