FastDINOv2：基于频率的课程学习提升鲁棒性并加快训练速度
计算机视觉与模式识别
2026-01-30 v3 人工智能
机器学习
摘要
诸如 DINOv2 之类的大规模视觉基础模型凭借庞大的架构与训练数据集取得了令人瞩目的性能。然而，许多场景要求从业者复现这些预训练方案，例如在私有数据、新模态上，或仅仅出于科学探究的目的——而这在当前对计算资源的要求极高。因此，我们提出了一种针对 DINOv2 的新型预训练策略，能够同时加速收敛——并附带增强对常见图像损坏的鲁棒性。我们的方法包含一个频率过滤课程（先学习低频）以及高斯噪声块（patching）增强。在使用 ViT-B/16 主干网络并在 ImageNet-1K 上进行预训练时，预训练时间和 FLOPs 分别减少了 1.6 倍和 2.25 倍，我们的方法在损坏基准（ImageNet-C）上仍能达到与基线相当的鲁棒性，并在线性探测性能上保持竞争力。这种效率与鲁棒性的双重收益使得大规模自监督基础建模更加可行，同时也为通过数据课程与增强策略来提升自监督学习模型鲁棒性的新探索打开了大门。代码已开源：https://github.com/KevinZ0217/fast_dinov2
引用
@article{arxiv.2507.03779,
title = {FastDINOv2: Frequency Based Curriculum Learning Improves Robustness and Training Speed},
author = {Jiaqi Zhang and Juntuo Wang and Zhixin Sun and John Zou and Randall Balestriero},
journal= {arXiv preprint arXiv:2507.03779},
year = {2026}
}
备注
Accepted by 39th Conference on Neural Information Processing Systems (NeurIPS 2025)