CP-Prompt：基于组合的跨模态提示用于领域增量持续学习
计算与语言
2024-08-05 v2 人工智能
机器学习
摘要
跨模态领域增量学习（DIL）的关键挑战在于使学习模型能够在同一任务下从具有不同特征分布的新数据中持续学习，而不遗忘旧数据。然而，现有表现最好的方法仍然导致高遗忘率，因为缺乏领域内知识提取和领域间通用提示策略。在本文中，我们提出了一种简单而有效的框架CP-Prompt，通过训练有限参数来指导预训练模型学习新领域并避免遗忘现有特征分布。CP-Prompt通过在多头自注意力层中组合式地插入个性化提示来捕获领域内知识，然后通过通用提示策略学习领域间知识。CP-Prompt在三个广泛评估的DIL任务中优于最先进基线。源代码可在https://github.com/dannis97500/CP_Prompt获取。
引用
@article{arxiv.2407.21043,
title = {CP-Prompt: Composition-Based Cross-modal Prompting for Domain-Incremental Continual Learning},
author = {Yu Feng and Zhen Tian and Yifan Zhu and Zongfu Han and Haoran Luo and Guangwei Zhang and Meina Song},
journal= {arXiv preprint arXiv:2407.21043},
year = {2024}
}
备注
Accepted by ACM MM 2024