FairLens：黑盒临床决策支持系统的偏差审计方法
机器学习
2020-11-10 v1 人工智能
计算机与社会
摘要
算法决策应用的普及引发了人们对在医疗等关键场景中部署的 AI 系统存在无意偏见风险的担忧。对有偏模型的检测与缓解是一项非常精细的任务，应当谨慎处理并让领域专家参与其中。本文介绍 FairLens，一种用于发现和解释偏见的方法。我们展示了如何使用我们的工具来审计一个充当临床决策支持系统的虚构商业黑盒模型。在该场景中，医疗机构专家可以在将模型纳入临床决策流程之前，利用自身历史数据通过 FairLens 发现模型的偏见。FairLens 首先根据年龄、种族、性别和保险等属性对可用的患者数据进行分层；然后评估模型在这些患者子组上的表现，识别出需要专家评估的子组。最后，基于近期最先进的 XAI（可解释人工智能）技术，FairLens 解释所选子组中患者临床病史的哪些要素导致了模型错误。因此，FairLens 使专家能够调查是否信任该模型，并揭示可能构成潜在公平性问题的群体特定偏见。
引用
@article{arxiv.2011.04049,
title = {FairLens: Auditing Black-box Clinical Decision Support Systems},
author = {Cecilia Panigutti and Alan Perotti and Andrè Panisson and Paolo Bajardi and Dino Pedreschi},
journal= {arXiv preprint arXiv:2011.04049},
year = {2020}
}