ViG-Bias：基于视觉 grounding 的偏见发现与缓解
计算机视觉与模式识别
2025-01-09 v4
摘要
机器学习模型在关键决策过程中的广泛应用凸显了偏见发现和缓解策略的必要性。识别偏见系统背后的原因并不直接，因为在许多情况下，它们与隐藏的伪相关性相关，这些伪相关性并不容易被察觉。标准方法依赖于对模型在预定义子组数据样本上的性能进行偏见审计，通常这些子组由具有性别或种族等常见属性的人们，或其他定义语义连贯图像子组的特定属性构成。然而，总是不可能预先知道定义视觉识别系统故障模式的特定属性。最近的方法提出利用大型视觉语言模型发现这些子组，这些模型使我们能够提取跨模态嵌入并生成文本描述来 characterize 那些模型表现不佳的子组。在本工作中，我们认为 incorporating 视觉解释（例如通过 GradCAM 或其他方法生成的热图）可以提高此类偏见发现和缓解框架的性能。为此，我们引入 Visually Grounded Bias Discovery and Mitigation（ViG-Bias），这是一种简单而有效的技术，可集成到各种现有框架中以提高发现和缓解性能。我们的全面评估显示，融合视觉解释在包括 CelebA、Waterbirds 和 NICO++ 在内的多个具有挑战性的数据集上，提高了诸如 DOMINO、FACTS 和 Bias-to-Text 等现有技术。
引用
@article{arxiv.2407.01996,
title = {ViG-Bias: Visually Grounded Bias Discovery and Mitigation},
author = {Badr-Eddine Marani and Mohamed Hanini and Nihitha Malayarukil and Stergios Christodoulidis and Maria Vakalopoulou and Enzo Ferrante},
journal= {arXiv preprint arXiv:2407.01996},
year = {2025}
}
备注
ECCV 2024