CODA-Prompt: 基于持续分解注意力的无重演持续学习提示方法
计算机视觉与模式识别
2023-03-31 v2 人工智能
机器学习
摘要
计算机视觉模型在从持续变化的训练数据中学习新概念时,会遭受所谓灾难性遗忘的现象。针对这一持续学习问题的典型解决方案需要对已见数据进行大量重演,这增加了内存成本并可能违反数据隐私。近来,大规模预训练视觉 transformer 模型的出现使得提示方法成为数据重演的替代方案。这些方法依赖键-查询机制生成提示,并已被发现在成熟的免重演持续学习设定下对灾难性遗忘具有高度抵抗力。然而,这些方法的键机制并未随任务序列进行端到端训练。我们的实验表明,这导致它们的可塑性下降,从而牺牲了新任务精度,且无法从扩展的参数容量中获益。我们转而提出学习一组提示组件,通过输入条件权重进行组装以产生输入条件提示,从而形成了一种新颖的基于注意力的端到端键-查询方案。我们的实验表明,在既定基准上,我们以高达 4.5% 的平均最终精度优于当前 SOTA 方法 DualPrompt。在包含类增量与域增量任务转移的持续学习基准上,我们也以高达 4.4% 的精度优于现有最优方法,该基准对应于许多实际场景。我们的代码可在 https://github.com/GT-RIPL/CODA-Prompt 获取。
引用
@article{arxiv.2211.13218,
title = {CODA-Prompt: COntinual Decomposed Attention-based Prompting for Rehearsal-Free Continual Learning},
author = {James Seale Smith and Leonid Karlinsky and Vyshnavi Gutta and Paola Cascante-Bonilla and Donghyun Kim and Assaf Arbelle and Rameswar Panda and Rogerio Feris and Zsolt Kira},
journal= {arXiv preprint arXiv:2211.13218},
year = {2023}
}
备注
Accepted by the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2023)