基于梯度投影的参数高效持续调优
机器学习
2024-07-18 v3
摘要
参数高效调优（Parameter-efficient tuning，PETs）在训练大型模型方面展现出惊人的性能和前景，但仍面临一个普遍问题：在学习新内容与保护旧知识之间存在权衡，导致零样本泛化崩溃和跨模态幻觉。本文从梯度投影的角度重新构建了Adapter、LoRA、Prefix-tuning和Prompt-tuning，并首次提出统一框架，称为参数高效梯度投影（PEGP）。我们引入正交梯度投影到不同的PET范式中，并理论证明，梯度的正交条件即使针对大规模模型也能有效抵抗遗忘。因此，我们将梯度修改为对旧特征空间影响较小的方向，同时所需的额外内存空间和训练时间更少。我们使用不同的主干网络，包括ViT和CLIP，在多样化的数据集上进行广泛评估，实验全面证明了其在减少类别、在线类别、域、任务和多模态持续设置中遗忘的效率。项目页面可访问于https://dmcv-ecnu-pegp.github.io/。
引用
@article{arxiv.2405.13383,
title = {Gradient Projection For Continual Parameter-Efficient Tuning},
author = {Jingyang Qiao and Zhizhong Zhang and Xin Tan and Yanyun Qu and Wensheng Zhang and Zhi Han and Yuan Xie},
journal= {arXiv preprint arXiv:2405.13383},
year = {2024}
}