基于掩码与视觉提示调优的随机模糊任务边界在线类增量学习
计算机视觉与模式识别
2023-08-21 v1 机器学习
摘要
持续学习旨在从连续数据流中学习模型，但其主要假设固定数量的数据与任务且任务边界清晰。然而在真实场景中，输入数据与任务的数量以统计方式而非静态方式持续变化。尽管近期引入的具有模糊任务边界的增量学习场景在一定程度上解决了上述问题，但由于不相交与模糊样本的固定比例，仍未能充分反映真实世界的统计特性。本文提出一种反映真实世界随机特性的新随机模糊任务边界场景，称为Si-Blurry。我们发现Si-Blurry场景中存在两大挑战：(1) 任务间与任务内遗忘；(2) 类不平衡问题。为缓解之，我们引入掩码与视觉提示调优(MVP)。在MVP中，为应对任务间与任务内遗忘问题，我们提出一种新颖的实例级logit掩码与对比视觉提示调优损失。二者均助模型辨识当前批次待学类别，从而巩固已有知识。此外，为缓解类不平衡问题，我们引入基于梯度相似度的焦点损失与自适应特征缩放，以减轻对多数类的过拟合与对少数类的欠拟合。充分实验表明，我们所提MVP在具挑战性的Si-Blurry场景中显著优于现有最先进方法。
引用
@article{arxiv.2308.09303,
title = {Online Class Incremental Learning on Stochastic Blurry Task Boundary via Mask and Visual Prompt Tuning},
author = {Jun-Yeong Moon and Keon-Hee Park and Jung Uk Kim and Gyeong-Moon Park},
journal= {arXiv preprint arXiv:2308.09303},
year = {2023}
}