视觉-语言模型中有害标签关联的偏差
计算机视觉与模式识别
2024-04-17 v2
摘要
尽管基础视觉-语言模型性能卓越，但文本和视觉的共享表示空间也可能编码有害的标签关联，从而损害公平性。虽然先前的工作已经揭示了视觉-语言模型（VLM）在不同地理区域的分类性能中存在偏差，但由于缺乏丰富的标记数据，这些工作一直局限于有害标签关联这一重要维度。在这项工作中，我们研究了最近发布的包含超过70,000个视频的Casual Conversations数据集中的有害标签关联。我们研究了几种领先的VLM中，针对年龄、性别、表观肤色和物理装饰等自报标签，有害标签关联频率的偏差。我们发现，VLM对肤色较深个体进行有害分类的可能性高出4-7倍。我们还发现，扩大Transformer编码器模型规模会导致有害预测的置信度更高。最后，我们发现，在标准视觉任务上VLM性能的提升并不能解决有害标签关联中的差异。
引用
@article{arxiv.2402.07329,
title = {The Bias of Harmful Label Associations in Vision-Language Models},
author = {Caner Hazirbas and Alicia Sun and Yonathan Efroni and Mark Ibrahim},
journal= {arXiv preprint arXiv:2402.07329},
year = {2024}
}