个性化医疗中的新兴挑战：评估人口统计学因素对生物医学问答系统的影响
计算与语言
2023-10-17 v1 机器学习
摘要
最先进的问答（QA）模型表现出多种社会偏见（例如关于性别或种族），通常归因于其训练数据中的类似问题。然而，迄今为止被忽视的是，在生物医学这一关键领域中，任何由于患者人口统计学特征导致的模型输出无根据变化都是成问题的：它会导致对患者的不公平对待。我们仅选取那些答案不依赖于种族、性别或性取向的生物医学主题问题，提出以下研究问题：（RQ1）当提供无关的人口统计学信息时，QA模型的答案是否会改变？（RQ2）RQ1的答案在基于知识图谱（KG）的QA系统与基于文本的QA系统之间是否存在差异？我们发现，无关的人口统计学信息会改变基于KG系统多达15%的答案以及基于文本系统多达23%的答案，其中包括影响准确性的变化。我们得出结论，由患者人口统计学特征引起的无根据答案改变是一种频繁现象，这引发了公平性担忧，应受到更多关注。
引用
@article{arxiv.2310.10571,
title = {Emerging Challenges in Personalized Medicine: Assessing Demographic Effects on Biomedical Question Answering Systems},
author = {Sagi Shaier and Kevin Bennett and Lawrence Hunter and Katharina von der Wense},
journal= {arXiv preprint arXiv:2310.10571},
year = {2023}
}
备注
Accepted to IJCNLP-AACL 2023