量化由数据与 AI 模型引发的健康不平等
计算机与社会
2022-05-04 v2 人工智能
摘要
AI 技术正越来越多地在包括医疗在内的关键环境中接受测试与应用。若没有有效的方法来检测和缓解 AI 引发的不平等，AI 可能弊大于利，并有可能导致潜在不平等的扩大。本文提出了一个通用的分配-恶化框架，用于检测和量化 AI 引发的不平等。具体而言，AI 引发的不平等被量化为两条分配-恶化曲线之间的面积。为评估该框架的性能，我们在由真实世界重症监护病房（ICU）数据集 HiRID 生成的十个合成数据集（N>33,000）上进行了实验，结果表明该框架能够准确地检测并量化与受控不平等成比例的不平等。我们开展了广泛的分析，以量化（a）嵌入于两个真实世界 ICU 数据集中的健康不平等；（b）由为两种资源分配场景训练的 AI 模型所引发的健康不平等。结果显示，与男性相比，女性入住 HiRID ICU 时预后指标的恶化程度高出至多 33%。所评估的全部四个 AI 模型均对非白人患者相较于白人患者引发了显著的不平等（2.45% 至 43.2%）。在 8 项评估中，有 3 项模型显著加剧了数据中嵌入的不平等，其中一项恶化程度超过 9 倍。代码库位于 https://github.com/knowlab/DAindex-Framework。
引用
@article{arxiv.2205.01066,
title = {Quantifying Health Inequalities Induced by Data and AI Models},
author = {Honghan Wu and Minhong Wang and Aneeta Sylolypavan and Sarah Wild},
journal= {arXiv preprint arXiv:2205.01066},
year = {2022}
}
备注
Accepted by IJCAI-ECAI 2022 AI for Good track