揭示大型语言模型中健康公平危害与偏见的工具箱
计算机与社会
2024-10-08 v2 计算与语言
机器学习
摘要
大型语言模型有望满足复杂的健康信息需求，但也可能带来危害并加剧健康差距。可靠地评估与公平相关的模型故障是开发促进健康公平系统的重要一步。我们提供了用于揭示偏见的资源和方法，这些偏见有可能在 LLM 生成的医学问题长文本回答中引发与公平相关的危害，并使用 Med-PaLM 2 LLM 进行了大规模实证案例研究。我们的贡献包括一个用于人工评估 LLM 生成回答中偏见的多因子框架，以及 EquityMedQA，这是一个为对抗性查询而丰富的七个数据集的集合。我们的人工评估框架和数据集设计过程均基于迭代的参与式方法和对 Med-PaLM 2 回答的审查。通过我们的实证研究，我们发现该方法能够揭示那些可能被较窄评估方法遗漏的偏见。我们的经验强调了使用多样化评估方法以及让具有不同背景和专业知识的评估者参与的重要性。虽然我们的方法不足以全面评估 AI 系统的部署是否促进了公平的健康结果，但我们希望它能被利用并在此基础上进一步发展，以实现 LLM 促进可及和公平医疗的共同目标。
引用
@article{arxiv.2403.12025,
title = {A Toolbox for Surfacing Health Equity Harms and Biases in Large Language Models},
author = {Stephen R. Pfohl and Heather Cole-Lewis and Rory Sayres and Darlene Neal and Mercy Asiedu and Awa Dieng and Nenad Tomasev and Qazi Mamunur Rashid and Shekoofeh Azizi and Negar Rostamzadeh and Liam G. McCoy and Leo Anthony Celi and Yun Liu and Mike Schaekermann and Alanna Walton and Alicia Parrish and Chirag Nagpal and Preeti Singh and Akeiylah Dewitt and Philip Mansfield and Sushant Prakash and Katherine Heller and Alan Karthikesalingam and Christopher Semturs and Joelle Barral and Greg Corrado and Yossi Matias and Jamila Smith-Loud and Ivor Horn and Karan Singhal},
journal= {arXiv preprint arXiv:2403.12025},
year = {2024}
}