BayesAdapter：CLIP少样本适应中的不确定性估计提升
计算机视觉与模式识别
2025-01-14 v2 机器学习
摘要
大型预训练视觉语言模型（VLM）的出现代表了机器学习的一个范式转变， 在广泛的视觉识别任务中展现了空前的成果。作为最受欢迎的VLM之一，CLIP在分类任务中表现出卓越的零样本和迁移学习能力。为了将CLIP迁移到下游任务，适配器构成了一种参数高效的方法，无需通过大型模型进行反向传播（与相关的提示学习方法不同）。然而，CLIP适配器是针对判别性能开发的，其不确定性估计质量被忽略了。本文我们表明，最先进的CLIP适配器的判别性能并不总是与其不确定性估计能力相关，而后者对于在实际场景中安全部署至关重要。我们也展示，其中一种适配器是通过更通用概率框架中的MAP推断获得的。基于这一观察，我们引入BayesAdapter，利用贝叶斯推断来估计整个概率分布而非单个点，从而更好地捕捉参数空间中固有的变异性。在全面的经验评估中，我们表明该方法在预测中获得高质量的不确定性估计，在校准和选择性分类方面表现突出。我们的代码将在论文接受后公开。
关键词
引用
@article{arxiv.2412.09718,
title = {BayesAdapter: enhanced uncertainty estimation in CLIP few-shot adaptation},
author = {Pablo Morales-Álvarez and Stergios Christodoulidis and Maria Vakalopoulou and Pablo Piantanida and Jose Dolz},
journal= {arXiv preprint arXiv:2412.09718},
year = {2025}
}
备注
30 pages, 5 figures, 23 tables