解决类增量学习动态扩展架构中的任务混淆问题
计算机视觉与模式识别
2023-01-04 v2 机器学习
摘要
动态扩展架构在类增量学习中日益流行，主要因其缓解灾难性遗忘的优势。然而，该框架内任务混淆未得到良好评估，例如不同任务类别间的差异未被充分学习（即任务间混淆，ITC），且仍对最新类别批次有一定优先（即新旧混淆，ONC）。我们实证验证了这两类混淆的副作用。同时，提出一种称为任务相关增量学习（TCIL）的新方案，以鼓励跨任务的判别性与公平性特征利用。TCIL 执行多级知识蒸馏，将旧任务学到的知识传播至新任务。其在特征与 logit 两个层面建立信息流路径，使学习能感知旧类。此外，应用注意力机制与分类器重打分以生成更公平的分类分数。我们在 CIFAR100 与 ImageNet100 数据集上进行了广泛实验。结果表明 TCIL 持续达到最先进准确率。它缓解了 ITC 与 ONC，且在即便未保留重演记忆时对抗灾难性遗忘亦展现优势。
引用
@article{arxiv.2212.14284,
title = {Resolving Task Confusion in Dynamic Expansion Architectures for Class Incremental Learning},
author = {Bingchen Huang and Zhineng Chen and Peng Zhou and Jiayin Chen and Zuxuan Wu},
journal= {arXiv preprint arXiv:2212.14284},
year = {2023}
}
备注
9 pages, 3 figures, Accepted on AAAI 2023