在基于提示的持续学习中引入语言引导
计算机视觉与模式识别
2023-08-31 v1
摘要
持续学习旨在在不访问先前任务数据的情况下，于一系列任务上学习单一模型。该领域最大的挑战仍是灾难性遗忘：在早前任务已见类别上的性能下降。一些现有方法依赖昂贵的回放缓冲区来存储先前任务的部分数据。尽管有效，但当任务数量庞大或因隐私原因无法存储数据时，该方法代价高昂。作为替代，基于提示的方法被提出，其将任务信息存储于可学习的提示池中。该提示池指导冻结的图像编码器如何求解各任务。尽管模型在此设定下每个任务面临互不相交的类别集合，我们认为这些类别可被编码至预训练语言编码器的同一嵌入空间。本工作中，我们提出用于基于提示的持续学习的语言引导（LGCL）作为基于提示方法的插件。LGCL 与模型无关，并在提示池的任务层面与视觉编码器输出特征的类别层面引入语言引导。我们通过大量实验表明，LGCL 持续提升了基于提示的持续学习方法的性能，确立了新的最优水平（state-of-the-art）。LGCL 在无需任何额外可学习参数的情况下实现了这些性能提升。
引用
@article{arxiv.2308.15827,
title = {Introducing Language Guidance in Prompt-based Continual Learning},
author = {Muhammad Gul Zain Ali Khan and Muhammad Ferjad Naeem and Luc Van Gool and Didier Stricker and Federico Tombari and Muhammad Zeshan Afzal},
journal= {arXiv preprint arXiv:2308.15827},
year = {2023}
}
备注
Accepted at ICCV 2023