基于CLIP的类递增学习的层次化语义树锚定
计算机视觉与模式识别
2025-11-20 v1 机器学习
摘要
类递增学习（CIL）使模型能够在保持过去知识的同时持续学习新类别。最近，类似CLIP的视觉语言模型通过多模态预训练提供可迁移的特征，使其非常适合CIL。然而，现实中的视觉和语言概念本质上具有层次结构：类似“dog”的文本概念包含细分类别如“Labrador”和“Golden Retriever”，每个类别又包含其图像。但现有的CLIP-based CIL方法未显式捕获这种内在层次结构，导致细粒度类别特征在增量更新期间漂移，最终导致灾难性遗忘。为此，我们提出了HASTEN（Hierarchical Semantic Tree Anchoring），将层次化信息锚定到CIL中以减少灾难性遗忘。首先，我们采用外部知识图谱作为监督，将视觉和文本特征嵌入到双曲空间中，有效保留随数据演变的层次结构。其次，为缓解灾难性遗忘，我们将梯度投射到共享双曲映射的零空间中，防止干扰先前任务。这两个步骤协同工作，使模型能够通过保持层次关系来抵抗遗忘。大量实验表明，HASTEN consistently 优于现有方法，提供统一的结构化表示。
引用
@article{arxiv.2511.15633,
title = {Hierarchical Semantic Tree Anchoring for CLIP-Based Class-Incremental Learning},
author = {Tao Hu and Lan Li and Zhen-Hao Xie and Da-Wei Zhou},
journal= {arXiv preprint arXiv:2511.15633},
year = {2025}
}