分布感知的公平性测试生成
摘要
确保所有类别的物体被同等准确地检测在 AI 系统中至关重要。例如，在自动驾驶系统中，无法识别任何一类物体都可能带来致命后果。因此，确保图像识别系统的可靠性至关重要。本工作探讨如何验证图像识别软件中的群体公平性。我们提出了一种分布感知的公平性测试方法（称为 DistroFair），通过分布外（out-of-distribution, OOD）测试与语义保持图像变异的协同组合，系统性地暴露图像分类器中的类级公平性违背。DistroFair 自动学习一组图像中物体的分布（如数量/方向），然后利用三种语义保持图像变异——物体删除、物体插入和物体旋转——系统性地将图像中的物体变异为 OOD。我们使用两个知名数据集（CityScapes 和 MS-COCO）以及三个主流商业图像识别软件（即 Amazon Rekognition、Google Cloud Vision 和 Azure Computer Vision）评估 DistroFair。结果表明，约 21% 由 DistroFair 生成的图像通过真值或蜕变预言揭示了类级公平性违背。DistroFair 比两个主要基线有效至多 2.3 倍，即（a）仅关注在分布内（in-distribution, ID）生成图像的方法，以及（b）仅使用原始图像数据集的公平性分析。我们进一步观察到 DistroFair 效率高，平均每小时生成 460 张图像。最后，我们通过一个含 81 名参与者的用户研究，使用 30 张真实图像和 30 张 DistroFair 生成的对应变异图像，评估了方法的语义有效性。我们发现 DistroFair 生成的图像真实度达真实世界图像的 80%。
引用
@article{arxiv.2305.13935,
title = {Distribution-aware Fairness Test Generation},
author = {Sai Sathiesh Rajan and Ezekiel Soremekun and Yves Le Traon and Sudipta Chattopadhyay},
journal= {arXiv preprint arXiv:2305.13935},
year = {2024}
}
备注
Paper accepted at JSS; 18 pages, 4 figures; LaTex; Data section added