面向无排练持续学习的分层提示
计算机视觉与模式识别
2024-01-23 v1
摘要
持续学习致力于赋予模型整合当前任务知识的能力，同时缓解对过去任务知识的遗忘。受提示微调启发，基于提示的方法保持冻结的主干网络，并训练少量可学习的提示，以最大程度减少因更新大量主干参数而导致的灾难性遗忘。然而，这些可学习的提示往往集中于当前任务的判别性知识而忽略过去任务的知识，导致可学习的提示依然存在灾难性遗忘。本文引入了一种新颖的无排练持续学习范式，称为分层提示（H-Prompts），包含三类提示——类提示、任务提示和通用提示。为了有效描绘过去类的知识，类提示利用贝叶斯分布对齐来建模每个任务中类的分布。为了减少对过去任务知识的遗忘，任务提示采用跨任务知识挖掘，将过去任务已学习的类提示中蕴含的知识与当前任务知识进行融合。此外，通用提示利用泛化知识探索，以自监督方式推导高度泛化的知识。在两个基准上的评估证实了所提 H-Prompts 的有效性，在 Split CIFAR-100 中平均准确率达到 87.8%，在 Split ImageNet-R 中达到 70.6%。
引用
@article{arxiv.2401.11544,
title = {Hierarchical Prompts for Rehearsal-free Continual Learning},
author = {Yukun Zuo and Hantao Yao and Lu Yu and Liansheng Zhuang and Changsheng Xu},
journal= {arXiv preprint arXiv:2401.11544},
year = {2024}
}
备注
Submitted to TPAMI