CLIPood：将 CLIP 泛化至分布外数据
机器学习
2023-07-17 v2 计算机视觉与模式识别
摘要
分布外（OOD）泛化，即模型需要处理训练时的分布偏移，是机器学习的一大挑战。对比语言-图像预训练（CLIP）模型已展现出令人印象深刻的零样本能力，但 CLIP 在下游任务上的进一步适配会不期望地降低 OOD 性能。本文旨在将 CLIP 泛化至下游任务的分布外测试数据。我们提出 CLIPood，一种微调方法，可适配 CLIP 模型至 OOD 情形，其中未见测试数据上可能同时发生域偏移与开放类。为利用来自文本模态的类别间语义关系，CLIPood 引入了新的训练目标——带类别自适应间隔的间隔度量 softmax（MMS）——用于微调。为结合预训练零样本模型与微调任务适配模型，CLIPood 利用一种新的优化策略——Beta 移动平均（BMA）——来维护由 Beta 分布加权的时序集成。在不同 OOD 场景的多样数据集上的实验表明，CLIPood 持续优于现有的泛化技术。
引用
@article{arxiv.2302.00864,
title = {CLIPood: Generalizing CLIP to Out-of-Distributions},
author = {Yang Shu and Xingzhuo Guo and Jialong Wu and Ximei Wang and Jianmin Wang and Mingsheng Long},
journal= {arXiv preprint arXiv:2302.00864},
year = {2023}
}
备注
Accepted by ICML 2023