通过平均场注意力动力学理解LoRA中的灾难性遗忘
机器学习
2026-05-14 v2 动力系统
机器学习
摘要
低秩适应（LoRA）因其良好的计算-性能权衡而成为主要的参数高效微调方法，但它仍然存在灾难性遗忘问题。我们通过一个可处理的_平均场自注意力_玩具模型来研究遗忘，其中token作为一个相互作用的粒子系统演化，LoRA作为低秩扰动。利用偏微分方程和动力系统的工具，我们刻画了表明遗忘与非遗忘行为之间相变的区域。我们表明，一个相变出现在扰动的范数上，另一个出现在Transformer的深度上。我们进一步根据扰动大小和谱量限定了偏离时间，并通过LoRA微调下真实模型的实验和探索性分析证实了预测的趋势。
引用
@article{arxiv.2402.15415,
title = {Understanding Catastrophic Forgetting In LoRA via Mean-Field Attention Dynamics},
author = {Hugo Koubbi and Louis Hernandez and Matthieu Boussard},
journal= {arXiv preprint arXiv:2402.15415},
year = {2026}
}
备注
New version accepted at ICML 2026, with new results and without previous results