ICON$^2$:可靠基准测试目标检测中的预测不平等
计算机视觉与模式识别
2023-06-08 v1
摘要
随着计算机视觉系统在自动驾驶等高风险应用中规模化部署,人们对这些系统中社会偏见的担忧日益加剧。对真实世界视觉系统(如驾驶场景中的目标检测)的公平性分析,仅限于观察跨属性(如行人肤色)的预测不平等,且缺乏一致的方法来解耦混杂变量的作用——例如,我的模型是对某种肤色表现更差,还是由于遮挡与人群导致数据集中此类场景更具挑战性?本工作引入ICON,一个稳健回答该问题的框架。ICON利用关于目标检测系统缺陷的先验知识,识别子群体间的性能差异,计算这些潜在混杂变量与给定敏感属性之间的相关性,并控制最可能的混杂变量以获得对模型偏差更可靠的估计。利用我们的方法,我们基于BDD100K驾驶数据集对目标检测相对于收入的表现进行了深入研究,揭示了有价值的见解。
引用
@article{arxiv.2306.04482,
title = {ICON$^2$: Reliably Benchmarking Predictive Inequity in Object Detection},
author = {Sruthi Sudhakar and Viraj Prabhu and Olga Russakovsky and Judy Hoffman},
journal= {arXiv preprint arXiv:2306.04482},
year = {2023}
}
备注
Accepted to CVPR 2023 SSAD Workshop