基于双层竞争的非遗忘类增量学习知识分配
计算机视觉与模式识别
2026-05-29 v1
摘要
使用预训练模型（PTMs）进行类增量学习（CIL）旨在依序适应PTMs以学习新类别，同时不遗忘旧知识。基于PTMs，现有的适配器方法主要通过不同的任务特定适配器进行训练，在推理时为每个适配器提供统一的知识分配。然而，这种分配机制忽略了任务差异的本质，导致适配器的利用不够理想。此外，在CIL约束下，分配器容易在任务演化时发生遗忘。为此，我们提出了一种基于双层竞争的非遗忘分配（NoFA-BC）。NoFA-BC通过将分配器训练转换为递归最小二乘问题来构建非遗忘分配器（NFA），实现了等效于使用全部数据的分配器。基于NFA，提出了双层竞争（BLC），包括单元任务内的获胜者全拿（Winner-Takes-All, WTA）机制和跨任务的最后下降（Last-Ones-Fall, LOF）消除。WTA提取单个任务中最显著的逻辑输出以代表适配器的贡献，LOF抑制不相关的适配器。通过BLC，每个适配器的参与比例可以针对每个输入进行调整。此外，还Incorporated了稳定性增强（SE）过程，以进一步提高旧任务的性能。
引用
@article{arxiv.2605.29592,
title = {Non-Forgetting Knowledge Allocation with Bi-level Competition for Class-Incremental Learning},
author = {Xiang Tan and Run He and Yawen Cui and Mengchen Zhao and Yan Wu and Tianyi Chen and Huiping Zhuang and Xiaonan Luo and Guanbin Li},
journal= {arXiv preprint arXiv:2605.29592},
year = {2026}
}