PRSM：评估 CLIP 对改写句式鲁棒性的度量方法

Contrastive Language-Image Pre-training (CLIP) 是一种广泛使用的多模态模型，通过大规模训练来对齐文本和图像表示。虽然它在零样本和少样本任务中表现良好，但其对语言变化，特别是改写句式的鲁棒性仍未得到充分探索。改写鲁棒性对于可靠部署至关重要，尤其是在社会敏感场景中， inconsistent 表示可能放大人口统计偏见。在本文中，我们引入改写排序稳定性度量 (PRSM)，用于量化 CLIP 对改写查询的敏感性。我们使用 Social Counterfactuals 数据集，这一旨在揭示社会和人口统计偏见的基准进行实证评估，检验 CLIP 在改写变化下的稳定性，检查改写鲁棒性与性别之间的相互作用，并讨论公平性和平等部署多模态系统的影响。我们的分析显示，鲁棒性在不同的改写策略之间存在差异，男性和女性关联查询之间观察到细微而一致的差异。