开放世界动态提示与持续视觉表示学习
计算机视觉与模式识别
2024-10-01 v2
摘要
开放世界本质上是动态的，其特征是不断演变的概念和分布。在这种动态的开放世界环境中，持续学习（CL）在有效泛化到未见的测试时类别方面提出了重大挑战。为了应对这一挑战，我们引入了一种专为开放世界视觉表示学习量身定制的新的实用 CL 设定。在这种设定中，后续的数据流系统性地引入了与先前训练阶段所见类别不相交的新类别，同时也有别于未见的测试类别。作为回应，我们提出了动态提示与表示学习器（DPaRL），这是一种简单而有效的基于提示的 CL（PCL）方法。我们的 DPaRL 学习为推理生成动态提示，而不是像以前的 PCL 方法那样依赖静态提示池。此外，DPaRL 在每个训练阶段联合学习动态提示生成和判别性表示，而先前的 PCL 方法仅在整个过程中细化提示学习。我们的实验结果证明了该方法的优越性，在公认的开放世界图像检索基准上超越了 SOTA 方法，Recall@1 性能平均提升了 4.7%。
引用
@article{arxiv.2409.05312,
title = {Open-World Dynamic Prompt and Continual Visual Representation Learning},
author = {Youngeun Kim and Jun Fang and Qin Zhang and Zhaowei Cai and Yantao Shen and Rahul Duggal and Dripta S. Raychaudhuri and Zhuowen Tu and Yifan Xing and Onkar Dabeer},
journal= {arXiv preprint arXiv:2409.05312},
year = {2024}
}
备注
ECCV 2024