零样本模型的高效通用鲁棒微调
计算机视觉与模式识别
2024-08-13 v1 机器学习
摘要
大规模图像-文本预训练模型使零样本分类成为可能，并在各种数据分布下提供一致的准确性。然而，在下游任务中优化这些模型通常需要微调，这会降低对分布外（OOD）数据的泛化能力，并需要大量计算资源。我们提出鲁棒适配器（R-Adapter），一种用于微调零样本模型到下游任务的全新方法，同时解决这两个问题。我们的方法将轻量级模块集成到预训练模型中，并采用新颖的自集成技术以提升 OOD 鲁棒性并大幅降低存储开销。此外，我们提出 MPM-NCE 损失，用于视觉-语言下游任务的微调。它确保多个图像-文本对的精确对齐和判别性特征学习。通过将鲁棒微调的基准从分类扩展到包括跨模态检索和开放词汇分割等多样化任务，我们展示了 R-Adapter 的广泛适用性。大量实验表明，R-Adapter 在多样化任务集上取得了最先进性能，仅微调 CLIP 编码器的 13% 参数。
引用
@article{arxiv.2408.05749,
title = {Efficient and Versatile Robust Fine-Tuning of Zero-shot Models},
author = {Sungyeon Kim and Boseung Jeong and Donghyun Kim and Suha Kwak},
journal= {arXiv preprint arXiv:2408.05749},
year = {2024}
}
备注
Accepted to ECCV 2024