大规模预训练数据集并不总能保证微调后的鲁棒性
计算机视觉与模式识别
2025-09-29 v3 人工智能
摘要
大规模预训练模型被广泛用作通过微调学习新专业任务的基础，其目标是在保持模型通用性能的同时使其获得新技能。对所有此类模型而言，鲁棒性是一个有价值的目标：即在分布外（OOD）任务上表现良好的能力。我们评估了微调是否保留了预训练模型的整体鲁棒性，并观察到在大型数据集上预训练的模型表现出强烈的灾难性遗忘和 OOD 泛化能力丧失。为系统评估微调模型的鲁棒性保持，我们提出了鲁棒性继承基准（ImageNet-RIB）。该基准可应用于任何预训练模型，由一组相关但不同的 OOD（下游）任务组成，涉及在该组中的一个 OOD 任务上进行微调，然后在其余任务上进行测试。我们发现，尽管持续学习方法有所帮助，但微调仍会降低预训练模型的鲁棒性。令人惊讶的是，与在较小数据集上预训练的模型相比，在最大且最多样化的数据集（如 LAION-2B）上预训练的模型在小数据集上微调后，不仅鲁棒性损失更大，且微调后的绝对鲁棒性也更低。这些发现表明，从最强的基础模型出发并不一定是处理专业任务性能的最佳途径。https://jd730.github.io/projects/ImageNet-RIB
引用
@article{arxiv.2410.21582,
title = {Large Pre-Training Datasets Don't Always Guarantee Robustness after Fine-Tuning},
author = {Jaedong Hwang and Brian Cheung and Zhang-Wei Hong and Akhilan Boopathy and Pulkit Agrawal and Ila Fiete},
journal= {arXiv preprint arXiv:2410.21582},
year = {2025}
}