基于量子门控的任务交互知识蒸馏用于预训练模型的类别递增学习
机器学习
2026-04-14 v1 计算机视觉与模式识别
摘要
类别递增学习 (CIL) 旨在从任务流中持续积累知识，并在所有已见类别上构建统一的分类器。尽管预训练模型 (PTMs) 在CIL中显示出有前景的性能，但它们仍然在多任务子空间的缠结问题上困扰，当任务路由参数校准不当或任务级表示被严格固定时，导致灾难性遗忘。为解决此问题，我们提出一种 novel 的量子门控任务交互知识蒸馏 (QKD) 框架，利用量子门控指导任务间知识传递。具体而言，我们引入一种量子门控任务调制门控机制来建模任务嵌入之间的关系，动态捕获样本到任务的相关性，以实现跨流式任务的联合训练和推断。在量子门控输出的指导下，我们进行基于这些任务嵌入级相关性权重的任务间知识蒸馏，从旧适配器到新适配器，以便在独立的任务子空间之间建立表示间隙。广泛的实验表明，QKD有效地减轻了遗忘，并实现了最先进的性能。
引用
@article{arxiv.2604.11112,
title = {Quantum-Gated Task-interaction Knowledge Distillation for Pre-trained Model-based Class-Incremental Learning},
author = {Linjie Li and Huiyu Xiao and Jiarui Cao and Zhenyu Wu and Yang Ji},
journal= {arXiv preprint arXiv:2604.11112},
year = {2026}
}
备注
Accepted to CVPR2026