评估上下文相关健康问题中的偏差
计算与语言
2024-03-11 v1
摘要
基于对话的大语言模型有机会使缺乏高质量医疗保健服务的人群获得跨多种主题的个性化信息。然而，用户可能会提出未充分明确的问题，需要额外的上下文模型才能正确回答。我们研究大语言模型偏差如何通过医疗保健领域的这些上下文问题表现出来。为了实现这一点，我们整理了一个依赖于年龄、性别和位置属性的性与生殖保健问题数据集。我们比较模型在有和没有人口统计上下文情况下的输出，以确定我们的上下文问题中的群体一致性。我们的实验揭示了在所有这些属性中都存在偏差，其中年轻成年女性用户受到偏爱。
引用
@article{arxiv.2403.04858,
title = {Evaluating Biases in Context-Dependent Health Questions},
author = {Sharon Levy and Tahilin Sanchez Karver and William D. Adler and Michelle R. Kaufman and Mark Dredze},
journal= {arXiv preprint arXiv:2403.04858},
year = {2024}
}