无监督参数高效源自由后预训练
计算机视觉与模式识别
2025-03-03 v1 机器学习
摘要
在 NLP 领域的成功经验推动后，当前最佳视觉模型已发展到十亿级参数规模。将这些大型模型适配目标分布已变得计算和经济上难以承担。为此，我们提出 UpStep（Unsupervised Parameter-efficient Source-free post-pretraining），一种针对源域数据不可用场景下高效适配预训练模型的无监督参数高效后预训练方法：i) 我们设计自监督训练方案，在无标签目标域上对预训练模型进行适配，且在源域数据不可用的设置下运行。由于源自由设置易出现灾难性遗忘，ii) 我们提出中心向量正则化（CVR），通过一组辅助操作最小化灾难性遗忘，同时通过跳过 50% 训练迭代的反向传播来降低计算成本。最终 iii) 我们以低秩适配方法对预训练模型进行参数高效适配，只优化模型的部分参数。我们利用各种通用 backbone 架构，包括监督和无监督模型，这些模型在 ImageNet 上训练作为基础模型，并适配到八个目标域，以展示我们方法的适应性和通用性。
引用
@article{arxiv.2502.21313,
title = {Unsupervised Parameter Efficient Source-free Post-pretraining},
author = {Abhishek Jha and Tinne Tuytelaars and Yuki M. Asano},
journal= {arXiv preprint arXiv:2502.21313},
year = {2025}
}