CoLeCLIP：基于联合任务提示和词汇学习的开放域持续学习
计算机视觉与模式识别
2024-03-18 v1
摘要
本文探讨了视觉语言模型（VLM）在开放域中的持续学习（CL）问题，即模型需要在来自不同看见和未看见领域的流式数据集上进行持续更新和推断，同时处理新类别。这种能力对于AI助手、自动驾驶系统和机器人等开放环境中的各种应用至关重要。当前的CL研究大多 focus 在单个领域的封闭集场景中，且类别已知。大型预训练VLM如 CLIP 已显示出卓越的零样本识别能力，近期诸多研究利用这一能力来缓解CL中的灾难性遗忘，但它们 focus 在单个领域数据集的封闭CL中。开放域CL的大型VLM显然更具挑战性，原因在于1）跨数据集的大规模类别关联和领域差异，2）除了新适应数据集学习的知识外，还要遗忘预训练VLM中的零样本知识。在本工作中，我们提出一种新方法，称为 CoLeCLIP，基于 CLIP 学习开放域CL模型。它通过联合学习一组任务提示和跨域类别词汇来应对这些挑战。实验在11个数据集上表明，CoLeCLIP 在任务和类别递增学习设置下均优于当前最先进的方法。
引用
@article{arxiv.2403.10245,
title = {CoLeCLIP: Open-Domain Continual Learning via Joint Task Prompt and Vocabulary Learning},
author = {Yukun Li and Guansong Pang and Wei Suo and Chenchen Jing and Yuling Xi and Lingqiao Liu and Hao Chen and Guoqiang Liang and Peng Wang},
journal= {arXiv preprint arXiv:2403.10245},
year = {2024}
}