冻结与揭示：暴露视觉-语言模型中的模态偏差
计算机视觉与模式识别
2025-08-12 v1 人工智能
摘要
视觉语言模型实现了令人印象深刻的多模态性能，但往往从其训练数据中继承了性别偏差。这种偏差可能同时来自视觉和文本两种模态。在这项工作中，我们通过应用有针对性的去偏方法，即反事实数据增强和任务向量方法，剖析了视觉和文本骨干网络对这些偏差的贡献。受仇恨言论分类中数据高效方法的启发，我们引入了一个新的度量标准——刻板印象程度，以及相应的去偏方法——基于刻板印象程度的数据增强（DAUDoS），以最小的计算成本减少偏差。我们整理了一个性别标注数据集，并在VisoGender基准上评估所有方法，以量化改进并识别偏差的主要来源。我们的结果表明，CDA将性别差距缩小了6%，DAUDoS缩小了3%，但仅使用了三分之一的数据。两种方法都将模型正确识别图像中性别的能力提高了3%，而DAUDoS仅使用几乎三分之一的训练数据就实现了这一改进。从我们的实验中，我们观察到CLIP的视觉编码器偏差更大，而PaliGemma2的文本编码器偏差更大。通过识别偏差更多是源于视觉还是文本编码器，我们的工作为未来多模态系统中更有针对性和有效的偏差缓解策略提供了可能。
引用
@article{arxiv.2508.07432,
title = {Freeze and Reveal: Exposing Modality Bias in Vision-Language Models},
author = {Vivek Hruday Kavuri and Vysishtya Karanam and Venkata Jahnavi Venkamsetty and Kriti Madumadukala and Lakshmipathi Balaji Darur and Ponnurangam Kumaraguru},
journal= {arXiv preprint arXiv:2508.07432},
year = {2025}
}