面向视觉 Transformer 类增量学习的可扩展解析分类器与关联漂移补偿
计算机视觉与模式识别
2026-02-03 v1 人工智能
摘要
视觉 Transformer (ViT) 的类增量学习 (CIL) 在分类器重构阶段面临主要计算瓶颈，现有方法大多依赖高成本的迭代随机梯度下降 (SGD)。我们观察到，解析正则化高斯判别分析 (RGDA) 提供了与 SGD 基于分类器相当的准确度的贝叶斯最优替代方案;然而，其二次推理复杂度限制了其在大规模 CIL 场景中的应用。为克服这一问题，我们提出低秩分解 RGDA (LR-RGDA)，一种可扩展的分类器，将 RGDA 的表达能力与线性分类器的效率相结合。通过利用协方差的低秩结构运用 Woodbury 矩阵恒等式，LR-RGDA 将判别函数分解为由全局仿射项和低秩二次扰动细化的组合，使推理复杂度从 降低至 ，其中 为类别数， 为特征维数， 为子空间秩。为缓解由主干网络更新导致的表示漂移，我们进一步引入基于 Hopfield 的分布补偿器 (HopDC)，一种无训练机制，利用现代连续 Hopfield 网络通过关联记忆动力学对历史类别统计数据进行校准，并附带估计误差的理论界限。在多样化 CIL 基准上的广泛实验表明，我们的框架实现了最先进的性能，为大规模 ViT 类增量学习提供了可扩展解决方案。代码: https://github.com/raoxuan98-hash/lr_rgda_hopdc。
引用
@article{arxiv.2602.00144,
title = {Scalable Analytic Classifiers with Associative Drift Compensation for Class-Incremental Learning of Vision Transformers},
author = {Xuan Rao and Mingming Ha and Bo Zhao and Derong Liu and Cesare Alippi},
journal= {arXiv preprint arXiv:2602.00144},
year = {2026}
}