DIET-CP：轻量且数据高效的自监督持续预训练
计算机视觉与模式识别
2025-09-10 v1 机器学习
摘要
持续预训练为将基础模型适配到新的目标领域提供了一种有前景的解决方案。然而，在专业领域中，可用的数据集通常非常小，这限制了为大规模预训练开发的自监督学习（SSL）方法的适用性，并使超参数搜索变得不可行。此外，预训练模型通常仅以主干权重形式发布，缺乏继续预训练所需的重要信息。我们提议用 DIET-CP 来弥合这一差距，这是一种简单的持续预训练策略，可将任何强大的基础模型引导至感兴趣的新数据分布。DIET-CP 依赖于一个非常简单的目标，无需标签，且引入的超参数不多于监督微调。它在不同数据模态和主干网络选择上保持稳定，同时仅使用 1000 张图像便为 DINOv3 等最先进模型提供了显著的性能提升。
引用
@article{arxiv.2509.06990,
title = {DIET-CP: Lightweight and Data Efficient Self Supervised Continued Pretraining},
author = {Bryan Rodas and Natalie Montesino and Jakob Ambsdorf and David Klindt and Randall Balestriero},
journal= {arXiv preprint arXiv:2509.06990},
year = {2025}
}