kNN-CLIP：检索在持续扩展的大词汇表上实现免训练分割
计算机视觉与模式识别
2024-08-14 v3 机器学习
摘要
持续分割尚未解决利用训练数据改进开放词汇分割模型以在持续扩展的大词汇表上实现准确分割的挑战。我们发现，传统的持续训练会导致严重的灾难性遗忘，无法超越零样本分割基线。我们引入了一种新颖的免训练策略 kNN-CLIP，该策略通过一个实例嵌入数据库增强模型，用于语义和全景分割，实现了零遗忘。我们证明，kNN-CLIP 能够适应持续增长的词汇表，而无需重新训练或产生大量内存开销。kNN-CLIP 使开放词汇分割方法能够通过单次数据遍历在任何领域扩展其词汇表，同时仅存储紧凑的嵌入。这种方法最小化了计算和内存成本。kNN-CLIP 在大词汇表语义和全景分割数据集上实现了 SOTA 性能。我们希望 kNN-CLIP 代表了在实现更高效和适应性更强的持续分割方面迈出的重要一步，为现实世界大词汇表持续分割方法的进步铺平道路。
引用
@article{arxiv.2404.09447,
title = {kNN-CLIP: Retrieval Enables Training-Free Segmentation on Continually Expanding Large Vocabularies},
author = {Zhongrui Gui and Shuyang Sun and Runjia Li and Jianhao Yuan and Zhaochong An and Karsten Roth and Ameya Prabhu and Philip Torr},
journal= {arXiv preprint arXiv:2404.09447},
year = {2024}
}