ECLIPSE: 基于视觉提示调优的高效全景分割持续学习
计算机视觉与模式识别
2024-04-01 v1
摘要
全景分割结合了语义分割和实例分割，是一项前沿的计算机视觉任务。尽管深度学习模型最近取得了进展，但现实世界应用的动态特性需要持续学习，即模型随时间适应新类别（可塑性）而不遗忘旧类别（灾难性遗忘）。当前的持续分割方法通常依赖于知识蒸馏和伪标签等蒸馏策略，这些策略有效但导致训练复杂度和计算开销增加。在本文中，我们引入了一种基于视觉提示调优的持续全景分割新方法，称为ECLIPSE。我们的方法冻结基础模型参数，仅微调一小部分提示嵌入，解决了灾难性遗忘和可塑性问题，并显著减少了可训练参数。为了缓解持续分割中固有的挑战，如错误传播和语义漂移，我们提出了logit操作以有效利用跨类别的共同知识。在ADE20K持续全景分割基准上的实验证明了ECLIPSE的优越性，特别是其对灾难性遗忘的鲁棒性和合理的可塑性，达到了新的最先进水平。代码可在https://github.com/clovaai/ECLIPSE获取。
引用
@article{arxiv.2403.20126,
title = {ECLIPSE: Efficient Continual Learning in Panoptic Segmentation with Visual Prompt Tuning},
author = {Beomyoung Kim and Joonsang Yu and Sung Ju Hwang},
journal= {arXiv preprint arXiv:2403.20126},
year = {2024}
}
备注
CVPR 2024