函数空间正则化驱动的 OOD 鲁棒性与 ID 精细调优双重提升
机器学习
2025-09-09 v1 计算机视觉与模式识别
摘要
鲁棒精细调优旨在在将预训练模型迁移到下游任务时，实现下分布（In-Distribution, ID）性能的竞争水平，同时保持预训练模型的超出分布（Out-of-Distribution, OOD）鲁棒性。为此，大多数鲁棒精细调优方法致力于保留预训练权重、特征或 logits。然而，我们发现这些方法并不总能提升不同模型架构的 OOD 鲁棒性。这是由于 OOD 鲁棒性要求模型函数对下游任务输入信息作出稳定预测，而现有方法可能为函数空间的优化提供不理想的代理。基于这一发现，我们提出一种新型正则化，约束精细调优模型与预训练模型在函数空间中的距离，并通过模拟 OOD 样本实现，从而旨在保留预训练模型的 OOD 鲁棒性。此外，为进一步增强精细调优模型的 OOD 鲁棒性，我们引入额外的一致性正则化，以促进对扰动样本的稳定预测。广泛的实验表明，我们的方法能够在多种 CLIP 主干模型上，持续提升下游任务的 ID 精细调优性能和 OOD 鲁棒性，超越现有的基于正则化的鲁棒精fine-tuning方法。
引用
@article{arxiv.2509.05328,
title = {Feed Two Birds with One Scone: Exploiting Function-Space Regularization for Both OOD Robustness and ID Fine-Tuning Performance},
author = {Xiang Yuan and Jun Shu and Deyu meng and Zongben Xu},
journal= {arXiv preprint arXiv:2509.05328},
year = {2025}
}