利用带适配器混合的大型预训练模型进行域泛化
计算机视觉与模式识别
2024-12-10 v2
摘要
学习在分布外（OOD）情形下表现良好的鲁棒视觉模型，对于模型在真实场景中的部署是一项重要任务。尽管该领域研究广泛，许多已提出的方法相较于最简单的经验风险最小化（ERM）方法仅展现出微小的性能提升，而后者是在有限超参数搜索空间的基准上评估的。本研究的重点在于利用大型预训练模型的知识来改进对 OOD 情形的处理并解决域泛化问题。然而，先前研究揭示，朴素地微调大型预训练模型会损害 OOD 鲁棒性。因此，我们采用参数高效微调（PEFT）技术，以在处理大型模型时有效保持 OOD 鲁棒性。我们大量的实验与分析确认，最有效的方法涉及集成多样化模型与增大预训练规模。结果，我们在域泛化任务中取得了最先进的性能。我们的代码与项目页面位于：https://cvlab-kaist.github.io/MoA
引用
@article{arxiv.2310.11031,
title = {Domain Generalization Using Large Pretrained Models with Mixture-of-Adapters},
author = {Gyuseong Lee and Wooseok Jang and Jinhyeon Kim and Jaewoo Jung and Seungryong Kim},
journal= {arXiv preprint arXiv:2310.11031},
year = {2024}
}
备注
WACV 2025