被剪枝适应模块：面向持续基础模型的简单而强大的基线
机器学习
2026-03-24 v1
摘要
持续学习文献正快速从传统的类别递增学习 (CIL) 技术转向基于基础模型 (FM) 的 CIL 方法，但尚无明确了解这些新方法如何与强大、轻量级卷积基线进行比较。这种突变的转变创造了 substantial 方法论鸿沟，使难以评估最近的 FM-based CIL 进展是反映真实进步，还是仅因缺乏严格的基线所致。为填补这一空白，我们提出被剪枝适应模块 (PAM)，一种简单而有效的方法，通过稀疏任务特定层冻结绝大部分预训练 ResNet，实现可扩展的持续适应。PAM 在可训练参数上实现最高可达约 5 倍的减少，在总参数数量上实现约 6 倍的减少，显著降低了持续更新的成本。在多样化基准测试中，PAM 持续缓解了灾难性遗忘，并超过了最先进的 FM-based CIL 方法。我们的发现将 PAM 定位为一个强大且透明的基线，帮助在传统与 FM-based CIL 之间搭建桥梁，指导未来研究，更准确地评估持续适应中的真实进展。代码可在 https://github.com/ElifCerenGokYildirim/PAM 查阅。
引用
@article{arxiv.2603.21170,
title = {Pruned Adaptation Modules: A Simple yet Strong Baseline for Continual Foundation Models},
author = {Elif Ceren Gok Yildirim and Murat Onur Yildirim and Joaquin Vanschoren},
journal= {arXiv preprint arXiv:2603.21170},
year = {2026}
}
备注
Published at CPAL 2026