CLIP 能否计数星星？关于 CLIP 中的数量偏置的实证研究
计算机视觉与模式识别
2024-09-24 v1 计算与语言
摘要
CLIP 在适应各种下游任务方面显示出巨大的灵活性，如图像编辑和生成、视觉问答和视频理解。然而，CLIP 基于的应用程序常常因对用户意图的误解而受到影响，在图像生成任务中导致所需对象数量与实际输出数量之间存在差异。在本工作中，我们从文本、图像和跨模态视角全面评估了 CLIP 中的数量偏置。通过仔细设计不同的实验设置和数据集，我们全面评估了 CLIP 对数量的理解。我们的实验结果揭示了 CLIP 嵌入中的数量偏置，影响了下游任务的可靠性。
引用
@article{arxiv.2409.15035,
title = {Can CLIP Count Stars? An Empirical Study on Quantity Bias in CLIP},
author = {Zeliang Zhang and Zhuo Liu and Mingqian Feng and Chenliang Xu},
journal= {arXiv preprint arXiv:2409.15035},
year = {2024}
}
备注
Short paper. Accepted by the Findings of EMNLP 2024