PRISM：用于视觉语言模型消除隐式偏见的LLM引导嵌入投影
计算机视觉与模式识别
2025-07-15 v1 机器学习
摘要
我们提出了投影消除视觉语言模型中隐式偏见的方法 (PRISM)，这是一种新的无数据且任务无关的偏见缓解方案，适用于CLIP等视觉语言模型。视觉语言模型常会继承并放大其训练数据中的偏见，导致预测偏斜。PRISM旨在不依赖预定义的偏见类别或额外外部数据的情况下消除偏见。它包含两个阶段：首先，引导LLM以简单类别提示生成包含隐式偏见关联的场景描述；随后，PRISM使用我们新颖的对比式消偏损失函数，学习一种将嵌入映射到最小化隐式偏见关联的潜在空间的投影，同时保持图像和文本嵌入之间的对齐。大量实验表明，PRISM在常用的数据集（如Waterbirds和CelebA）上超越当前消偏方法。我们在https://github.com/MahdiyarMM/PRISM公开代码。
引用
@article{arxiv.2507.08979,
title = {PRISM: Reducing Spurious Implicit Biases in Vision-Language Models with LLM-Guided Embedding Projection},
author = {Mahdiyar Molahasani and Azadeh Motamedi and Michael Greenspan and Il-Min Kim and Ali Etemad},
journal= {arXiv preprint arXiv:2507.08979},
year = {2025}
}
备注
Accepted to ICCV 2025