定位物体识别性能在收入水平与地域间退化的原因
计算机视觉与模式识别
2023-04-12 v1
摘要
尽管物体识别取得令人瞩目的进展，深度学习系统的性能在地域间与较低收入水平下显著退化，引发紧迫的公平性担忧。解决此类性能差距仍具挑战，因为关于性能为何在收入或地域间退化的认知甚少。我们朝此方向迈出一步：标注来自 Dollar Street（一个广受欢迎的具地理与经济多样性的图像基准）的图像，为每幅图标记颜色、形状与背景等因素。这些标注解锁了对物体如何在收入与地区间差异的新的细粒度视角。我们随后利用这些物体差异来定位模型在收入与地区间的脆弱点。我们研究了一系列现代视觉模型，发现性能差异最与纹理、遮挡及较暗光照图像的差异相关。我们阐释了来自因素标签的洞察如何揭示缓解策略以改善模型的性能差异。例如，我们展示缓解模型对纹理的脆弱性可改善其在较低收入水平上的表现。我们发布所有因素标注及一个交互式仪表板，以促进面向更公平视觉系统的研究。
引用
@article{arxiv.2304.05391,
title = {Pinpointing Why Object Recognition Performance Degrades Across Income Levels and Geographies},
author = {Laura Gustafson and Megan Richards and Melissa Hall and Caner Hazirbas and Diane Bouchacourt and Mark Ibrahim},
journal= {arXiv preprint arXiv:2304.05391},
year = {2023}
}