分布外泛化与校准中预训练模型选择的实证研究
机器学习
2025-04-29 v4 人工智能
摘要
在计算机视觉领域，微调预训练模型已成为分布外（OOD）泛化任务的普遍策略。与多数聚焦于改进学习算法的已有工作不同，我们系统考察了预训练模型规模、预训练数据集规模以及训练策略如何影响下游任务的泛化与置信度校准。我们在四个分布偏移数据集上通过总计超过 120,000 GPU 小时的广泛实验，评估了跨不同预训练模型规模、五个预训练数据集和五种数据增强的 100 个模型。结果表明预训练模型选择影响显著，最优选择相较单纯算法改进可大幅提升 OOD 准确率。此外，我们发现更大的模型与更大的预训练数据集不仅提升 OOD 性能，也改善校准，有助于缓解过度自信，这与某些认为现代深度网络校准差于经典浅层模型的先前研究相反。我们的工作凸显了预训练模型选择对于分布外泛化与校准被忽视的重要性。
引用
@article{arxiv.2307.08187,
title = {An Empirical Study of Pre-trained Model Selection for Out-of-Distribution Generalization and Calibration},
author = {Hiroki Naganuma and Ryuichiro Hataya and Kotaro Yoshida and Ioannis Mitliagkas},
journal= {arXiv preprint arXiv:2307.08187},
year = {2025}
}
备注
Accepted to TMLR