增量新类别发现的自适应发现与合并
人工智能
2024-03-07 v1
摘要
终身学习的一个重要目标是以连续方式从无标签数据中发现新类别。核心挑战在于：在发现和学习新类别的同时，缓解已建立知识的灾难性遗忘问题。为此，我们提出了一种新范式，称为自适应发现与合并 (Adaptive Discovering and Merging, ADM)，用于在增量阶段以自适应方式发现新类别，并在不影响原有知识的前提下将新知识融入模型。为实现自适应类别发现，我们解耦了表征学习与新类别发现的过程，并使用三元比较 (Triple Comparison, TC) 与概率正则化 (Probability Regularization, PR) 来约束类别分配的概率差异与多样性。为对所学新知识进行自适应合并，我们提出了一种带有基准分支和新分支的混合结构，称为自适应模型合并 (Adaptive Model Merging, AMM)，该结构可减少新分支对旧类别的干扰，以保留原有知识，并在不产生性能损失和参数增长的前提下将新分支合并到基准模型中。多个数据集上的大量实验表明，ADM显著优于现有的类递增新类别发现 (class-iNCD) 方法。此外，我们的 AMM 也能通过缓解灾难性遗忘问题，提升类递增学习 (class-IL) 任务的性能。
引用
@article{arxiv.2403.03382,
title = {Adaptive Discovering and Merging for Incremental Novel Class Discovery},
author = {Guangyao Chen and Peixi Peng and Yangru Huang and Mengyue Geng and Yonghong Tian},
journal= {arXiv preprint arXiv:2403.03382},
year = {2024}
}
备注
AAAI 2024. arXiv admin note: text overlap with arXiv:2207.08605 by other authors