大型语言模型在姑息治疗中延续偏见：姑息治疗对抗性数据集（PCAD）的开发与分析
计算机与社会
2025-02-13 v1
摘要
姑息治疗中的偏见和不平等对边缘化群体的影响尤为严重。大型语言模型（LLM），如GPT-4o，有潜力增强护理，但有可能延续其训练数据中存在的偏见。本研究旨在使用对抗性设计的数据集系统评估GPT-4o是否在姑息治疗响应中传播偏见。2024年7月，使用姑息治疗对抗性数据集（PCAD）对GPT-4o进行了探测，并由加拿大和英国的三位姑息治疗专家使用经过验证的偏见评分标准对响应进行了评估。PCAD包括PCAD-Direct（100个对抗性问题）和PCAD-Counterfactual（84个配对场景）。这些数据集针对四个护理维度（获得护理、疼痛管理、预先护理计划和死亡地点偏好）和三个身份轴（种族、年龄和诊断）。在相当大比例的响应中检测到偏见。对于对抗性问题，汇总偏见率为0.33（95%置信区间[CI]：0.28, 0.38）；“允许有偏见的预设”是最常被识别的偏见来源（0.47；95% CI：0.39, 0.55），例如未能挑战刻板印象。对于反事实场景，汇总偏见率为0.26（95% CI：0.20, 0.31），其中“可能扣留”是最常被识别的偏见来源（0.25；95% CI：0.18, 0.34），例如基于身份扣留干预措施。偏见率在护理维度和身份轴之间保持一致。GPT-4o在姑息治疗中延续了偏见，对临床决策和公平性具有影响。PCAD数据集为评估和解决姑息治疗中的LLM偏见提供了新颖的工具。
引用
@article{arxiv.2502.08073,
title = {Large language models perpetuate bias in palliative care: development and analysis of the Palliative Care Adversarial Dataset (PCAD)},
author = {Naomi Akhras and Fares Antaki and Fannie Mottet and Olivia Nguyen and Shyam Sawhney and Sabrina Bajwah and Joanna M Davies},
journal= {arXiv preprint arXiv:2502.08073},
year = {2025}
}
备注
The complete PCAD datasets are available on Figshare: dx.doi.org/10.6084/m9.figshare.28396016