KOPPA：基于键值正交投影与原型一对多改进提示持续学习
机器学习
2024-11-22 v3 计算机视觉与模式识别
摘要
受应用于大语言模型（LLM）的提示微调技术启发，近期基于预训练ViT网络的方法在持续学习领域取得了显著成果。具体而言，这些方法提出维护一组提示，并使用键值匹配策略为其分配子集以学习每个任务。然而，当缺乏对旧任务查询与未来任务键之间相关性的控制、潜在空间中特征的偏移，以及独立任务中所学潜在向量的相对分离时，它们可能遇到局限。在本工作中，受与模型无关的元学习启发，我们引入了一种基于正交投影的新型键值学习策略，以提升提示匹配效率并应对特征偏移的挑战。此外，我们引入了一个基于一对多（OVA）原型的组件，以增强分类头的区分度。在基准数据集上的实验结果表明，我们的方法使模型取得了超越当前最先进（SOTA）方法多达20%的大幅度结果。
引用
@article{arxiv.2311.15414,
title = {KOPPA: Improving Prompt-based Continual Learning with Key-Query Orthogonal Projection and Prototype-based One-Versus-All},
author = {Quyen Tran and Hoang Phan and Lam Tran and Khoat Than and Toan Tran and Dinh Phung and Trung Le},
journal= {arXiv preprint arXiv:2311.15414},
year = {2024}
}