重新审视基于预训练模型的类增量学习:泛化性与适应性足矣
机器学习
2024-08-06 v2 计算机视觉与模式识别
摘要
类增量学习(CIL)旨在适应新出现的类而不遗忘旧类。传统CIL模型从零开始训练,随着数据演化持续获取知识。近来,预训练取得实质性进展,使大量预训练模型(PTMs)可用于CIL。与传统方法相反,PTM拥有可泛化嵌入,可轻易迁移用于CIL。本工作中,我们重新审视带PTM的CIL,并主张CIL的核心因素是用于模型更新的适应性和用于知识迁移的泛化性。1)我们首先揭示冻结的PTM已能为CIL提供可泛化嵌入。令人惊讶的是,一个简单基线(SimpleCIL)持续将PTM的分类器设为原型特征,即使不在下游任务上训练也能击败最先进方法。2)由于预训练与下游数据集间的分布差距,PTM可通过模型自适应进一步以适应性加以培育。我们提出AdaPt和mERge(APER),聚合PTM与自适应模型的嵌入用于分类器构建。APER是一个通用框架,可与任何参数高效调优方法正交结合,兼具PTM的泛化性与自适应模型的适应性。3)此外,考虑到先前的基于ImageNet的基准因数据重叠在PTM时代不合适,我们提出四个新基准用于评估,即ImageNet-A、ObjectNet、OmniBenchmark和VTAB。大量实验以统一简洁的框架验证了APER的有效性。代码见https://github.com/zhoudw-zdw/RevisitingCIL
引用
@article{arxiv.2303.07338,
title = {Revisiting Class-Incremental Learning with Pre-Trained Models: Generalizability and Adaptivity are All You Need},
author = {Da-Wei Zhou and Zi-Wen Cai and Han-Jia Ye and De-Chuan Zhan and Ziwei Liu},
journal= {arXiv preprint arXiv:2303.07338},
year = {2024}
}
备注
Accepted to IJCV. Code is available at: https://github.com/zhoudw-zdw/RevisitingCIL