SDGBiasBench：面向可持续发展目标的视觉-语言模型偏差基准测试与缓解
计算机视觉与模式识别
2026-05-22 v1 人工智能
摘要
实现可持续发展目标（SDGs）的进展需要对视觉线索、情境知识和发展指标进行多步骤推理，Incomplete evidence use和imperfect evidence integration可能引入隐藏的预测偏差。实际的SDG监测进一步涵盖定性判断和定量估计。然而，现有的基准测试通常单独评估这些方面，掩盖了当模型用先验代替证据时出现的系统性偏差。为填补这一空白，我们提出SDGBiasBench，一个规模庞大的面向SDG的视觉-语言推理基准测试套件。该基准涵盖50万个专家参与的多项选择题和5万个回归任务，能够全面评估视觉-语言模型（VLM）在决策层面和估计层面的偏差。在SDGBiasBench上的评估揭示了当前VLM固有的SDG偏差，其中预测常常依赖于SDG特定的先验，而非可靠的多模态线索。为缓解此类偏差，我们提出CADE（Contrastive Adaptive Debias Ensemble），一种无训练、即插即用的方法，利用模态特定的答案先验。CADE在该基准测试上实现了显著提升，多项选择准确率提升最高可达25%，回归MAE降低最高可达12分，适用于多个VLM。我们希望我们的工作能促进开发更公平、更可靠的AI系统，以服务可持续发展目标。
引用
@article{arxiv.2605.21919,
title = {SDGBiasBench: Benchmarking and Mitigating Vision--Language Models' Biases in Sustainable Development Goals},
author = {Zihang Lin and Huaiyuan Qin and Muli Yang and Hongyuan Zhu},
journal= {arXiv preprint arXiv:2605.21919},
year = {2026}
}