多模态 AI 中的偏见:公平自动招聘测试平台
计算机视觉与模式识别
2020-04-16 v1
摘要
如今社会中决策算法的存在迅速增加,而关于其透明度以及这些算法成为新的歧视来源的担忧也在浮现。事实上,许多相关的自动化系统已被证明基于敏感信息做决策或歧视某些社会群体(例如某些用于人员识别的生物识别系统)。为了研究当前基于异构信息源的多模态算法如何受数据中的敏感元素与内在偏见影响,我们提出一个虚构的自动招聘测试平台:FairCVtest。我们使用一组有意识地以性别和种族偏见评分的多模态合成档案来训练自动招聘算法。FairCVtest 展示了此类招聘工具背后的人工智能(AI)从非结构化数据中提取敏感信息,并将其与数据偏见以不良(不公平)方式结合利用的能力。最后,我们列出近期致力于开发能从深度学习架构决策过程中移除敏感信息的技术的工作。我们使用了其中一种算法(SensitiveNets)来实验基于歧视感知的学习以消除我们多模态 AI 框架中的敏感信息。我们的方法和结果显示了如何生成更公平的基于 AI 的工具,特别是更公平的自动招聘系统。
引用
@article{arxiv.2004.07173,
title = {Bias in Multimodal AI: Testbed for Fair Automatic Recruitment},
author = {Alejandro Peña and Ignacio Serna and Aythami Morales and Julian Fierrez},
journal= {arXiv preprint arXiv:2004.07173},
year = {2020}
}