面向零样本视觉语言模型的字符无记忆持续学习：基于零空间适应
人工智能
2025-10-27 v1
摘要
预训练视觉语言模型（如 CLIP）已在零样本情境下展现出卓越的零样本泛化能力，使其可广泛应用于无需额外任务特定训练的实际场景。然而，在环境不断演变或新类别出现的实际部署情境中，这些模型不可避免地面临分布迁移和新任务。此时，静态的零样本能力已不足，亟需持续学习方法以允许模型随时间适应，同时避免灾难性遗忘。我们引入 NuSA-CL（Null Space Adaptation for Continual Learning，持续学习的零空间适应），这是一种轻量级无记忆持续学习框架，旨�解决上述挑战。NuSA-CL 采用低秩适应并约束任务特定权重更新落在模型当前参数的近似零空间内。此策略最小化对先前已获取知识的干扰，有效保留原始模型的零样本能力。与依赖回放缓冲区或高成本蒸馏的方法不同，NuSA-CL 具有最小的计算和内存开销，适用于资源受限的实际持续学习环境。实验表明，该框架不仅有效保留零样本迁移能力，还在持续学习基准测试中实现高度具竞争力的性能。这些结果将 NuSA-CL 定位为实际可行且可扩展的解决方案，用于应对实际应用中不断演变的零样本视觉语言模型。
引用
@article{arxiv.2510.21175,
title = {Memory-Free Continual Learning with Null Space Adaptation for Zero-Shot Vision-Language Models},
author = {Yujin Jo and Taesup Kim},
journal= {arXiv preprint arXiv:2510.21175},
year = {2025}
}