BOFA：基于CLIP的类递增学习中的桥接层正交低秩融合
计算机视觉与模式识别
2025-11-17 v1 机器学习
摘要
类递增学习（CIL）旨在不遗忘先前学习知识的前提下持续学习新类别。视觉语言模型如CLIP通过多模态监督提供强大的可迁移表示，使其成为CIL的有前景对象。然而，将CLIP应用于CIL面临两个主要挑战：（1）适应下游任务通常需要额外的可学习模块，增加模型复杂度并增加遗忘风险；（2）虽然多模态表示提供了互补优势，现有方法尚未充分实现其在有效整合视觉和文本模态方面的潜力。为此，我们提出BOFA（Bridge-layer Orthogonal Fusion for Adaptation），即一种 novel 的CIL框架。BOFA 将所有模型适应限制在CLIP现有的跨模态桥接层之内，从而无需额外参数或推理成本。为防止该层内遗忘，BOFA 利用正交低秩融合（Orthogonal Low-Rank Fusion），该机制将参数更新约束到由数学构造的低秩“安全子空间”，该子空间与过去任务特征正交。这确保了稳定的知识积累，无需数据回放。此外，BOFA 采用跨模态混合原型，融合稳定的文本原型与从稳定适应的桥接层中派生的视觉原型，以提升分类性能。大量基准实验表明，BOFA 在准确率和效率方面均优于现有方法。
引用
@article{arxiv.2511.11421,
title = {BOFA: Bridge-Layer Orthogonal Low-Rank Fusion for CLIP-Based Class-Incremental Learning},
author = {Lan Li and Tao Hu and Da-Wei Zhou and Han-Jia Ye and De-Chuan Zhan},
journal= {arXiv preprint arXiv:2511.11421},
year = {2025}
}
备注
Accepted by AAAI 2026