面向持续学习的参数高效微调：基于神经张量核的视角
机器学习
2026-02-27 v3 人工智能
摘要
参数高效微调用于持续学习（PEFT-CL）在为顺序任务适配预训练模型同时缓解灾难性遗忘问题方面显示出前景。然而，揭示支配持续性能力的机制仍然模糊不清。为破解这一之谜，我们对PEFT-CL动力学进行严格分析，借助神经张量核（NTK）理论推导出适用于持续场景的相关指标。凭借NTK作为数学分析工具，我们将测试时间遗忘问题重构为训练期间可量化的泛化间隙，识别出影响这些间隙及PEFT-CL性能的三个关键因素：训练样本规模、任务级特征正交性以及正则化。为解决这些挑战，我们引入NTK-CL，一个在无需存储任务特定参数的前提下，自适应生成任务相关特征的新型框架。结合理论指引，NTK-CL将每个样本的特征表示提升了三倍，理论上和实证上均减小了任务相互作用和任务特定泛化间隙的幅度。基于NTK分析，我们的框架施加了一个自适应指数移动平均机制和任务级特征正交性约束，保持任务内NTK形式的同时削弱任务间NTK形式。最终，通过对适当正则化的可优化参数进行微调，NTK-CL在 established PEFT-CL基准测试上实现了最先进的性能。本工作为理解和改进PEFT-CL模型提供了理论基础，洞察特征表示、任务正交性与泛化之间的相互作用，为开发更高效的持续学习系统贡献了力量。
引用
@article{arxiv.2407.17120,
title = {Parameter-Efficient Fine-Tuning for Continual Learning: A Neural Tangent Kernel Perspective},
author = {Jingren Liu and Zhong Ji and YunLong Yu and Jiale Cao and Yanwei Pang and Jungong Han and Xuelong Li},
journal= {arXiv preprint arXiv:2407.17120},
year = {2026}
}