微调阶段缓解多模态模型中的伪相关
机器学习
2023-06-01 v2 人工智能
摘要
降低模型泛化能力或导致模型以错误原因得出正确结果的伪相关，是实际部署中的主要鲁棒性问题之一。然而，在大规模模型的预训练阶段缓解这些相关代价高昂且不切实际，尤其对于无法使用高性能计算资源的情形。本文提出一种新方法，针对特定感兴趣领域在微调阶段解决伪相关问题。以多模态模型（如 CLIP）为重点，所提方法利用这些模型中不同模态来检测并将受影响的类别中的伪属性显式分离，通过以语言表述伪关系的多模态对比损失函数实现。我们在 CLIP 上的实验结果和深入可视化表明，此类干预能有效 i) 在伪属性不存在时提升模型准确率，以及 ii) 在伪属性存在时将模型激活图导向实际类别而非伪属性。特别是在 Waterbirds 数据集上，我们的算法在采用 ResNet-50 骨干的 CLIP 上取得了比 ERM 高 23% 的最差组准确率，在采用 ViT 骨干的 CLIP 上高 32%，同时保持与 ERM 相同的平均准确率。
引用
@article{arxiv.2304.03916,
title = {Mitigating Spurious Correlations in Multi-modal Models during Fine-tuning},
author = {Yu Yang and Besmira Nushi and Hamid Palangi and Baharan Mirzasoleiman},
journal= {arXiv preprint arXiv:2304.03916},
year = {2023}
}