MAVias:缓解任何视觉偏差
计算机视觉与模式识别
2025-11-19 v2
摘要
缓解计算机视觉模型中的偏差是提高人工智能模型可信度的关键步骤。现有偏差缓解方法仅聚焦于少数预定义偏差,限制了其在视觉数据集中应用范围,这些数据集可能包含多个甚至未知的偏差。为此,我们提出了 MAVias,一种基于基础模型的开放集偏差缓解方法,通过发现视觉属性与目标类别之间的虚假关联来实现缓解。MAVias 首先通过基础图像标记模型捕获自然语言中的多样视觉特征,然后利用大型语言模型挑选出定义目标类别的视觉特征,从而形成一组语言编码的潜在视觉偏差。随后,我们将这些潜在偏差转化为视觉语言嵌入,引入一种在处理过程中进行偏差缓解的方法,以防止模型编码与这些偏差相关的信息。我们在包括 CelebA、Waterbirds、ImageNet 和 UrbanCars 在内的多个数据集上进行实验,表明 MAVias 能有效检测和缓解视觉识别任务中的各种偏差,显著优于当前最先进的方法。
引用
@article{arxiv.2412.06632,
title = {MAVias: Mitigate any Visual Bias},
author = {Ioannis Sarridis and Christos Koutlis and Symeon Papadopoulos and Christos Diou},
journal= {arXiv preprint arXiv:2412.06632},
year = {2025}
}