实现大视觉-语言模型零样本推理中的校准
计算机视觉与模式识别
2023-04-20 v4 机器学习
摘要
深度学习模型的校准对其可信赖与安全使用至关重要，因此已在监督分类模型中得到广泛研究，并设计了降低失校准的方法。然而，对于像CLIP这样用于零样本推理的视觉-语言模型的校准，尚无全面研究。我们跨提示、数据集和架构等相关变量度量校准，发现CLIP的零样本推理存在失校准。此外，我们提出一种改进的温度缩放版本，其与CLIP作为零样本推理模型的常见用例相一致，并表明单个学习到的温度对于每个特定的CLIP模型（由所选预训练数据集与架构定义）在推理数据集与提示选择上具有泛化性。
引用
@article{arxiv.2303.12748,
title = {Enabling Calibration In The Zero-Shot Inference of Large Vision-Language Models},
author = {Will LeVine and Benjamin Pikus and Pranav Raja and Fernando Amat Gil},
journal= {arXiv preprint arXiv:2303.12748},
year = {2023}
}