通过 Soup-Adapter 提升基础模型在域适应中的鲁棒性
机器学习
2025-07-09 v1
摘要
本文针对基础模型的少样本域适应中的两个根本性问题进行研究。首先，由于缺乏大型验证数据集，超参数调优往往难以实现。其次，在测试时间数据与训练分布有细微偏差的情况下，模型鲁棒性仍是一大关切。我们表明，通过训练多个独立适配器并对其输出进行平均，可获得的新模型在性能和对分布偏移的鲁棒性方面均优于任何单个适配器。即使这些适配器使用来自广泛范围超参数样本训练，个体性能各异，改进仍然有效。因此，我们的方法同时解决了上述两个问题。该集成模型对残差比率——CLIP-Adapter 的关键超参数——也显著不那么敏感。由于该集成可通过原则性拼接参数的方式再参数化为单个适配器，我们称之为 Soup-Adapter。这也是首次探索 CLIP adapter 技术用于 DINOv2，并在该设置下直接与 CLIP 进行比较的研究。
引用
@article{arxiv.2507.05807,
title = {Improving Robustness of Foundation Models in Domain Adaptation with Soup-Adapters},
author = {Marco Roschkowski},
journal= {arXiv preprint arXiv:2507.05807},
year = {2025}
}