面向类增量学习的自适应预训练模型双原型
机器学习
2025-12-02 v4 机器学习
摘要
类增量学习（CIL）旨在学习新类别，同时保留先前知识。虽然基于预训练模型（PTM）的方法显示出强大的性能，但直接在增量任务流上微调PTM常导致新的灾难性遗忘。本文提出一种具有任务级适应性的双原型网络（DPTA）用于PTM-based CIL。对于每个增量学习任务，构建一个适配器模块进行微调，其中中心适应损失迫使表示更集中且类别可分离。双原型网络通过启用测试时适配器选择来改进预测过程，其中原始原型推断测试样本的多个可能任务索引，以选择适合的适配器模块进行PTM， augmented原型用于分离易混淆的类别以确定最终结果。在多个基准测试上进行实验，表明DPTA consistently超过最新方法5%。 在VTAB数据集上，约比最先进的方法提高约3%。代码已开源于https://github.com/Yorkxzm/DPTA。
引用
@article{arxiv.2411.17766,
title = {Dual Prototypes for Adaptive Pre-Trained Model in Class-Incremental Learning},
author = {Zhiming Xu and Suorong Yang and Baile Xu and Furao Shen and Jian Zhao},
journal= {arXiv preprint arXiv:2411.17766},
year = {2025}
}
备注
31 pages,9 figures,6 tables