利用大型语言模型从真实世界数据中识别避孕药物更换的原因
计算与语言
2024-02-07 v1 信息检索
机器学习
摘要
处方避孕药物在支持女性生殖健康方面发挥着关键作用。美国约有5000万女性使用避孕药物，因此了解驱动避孕药物选择和更换的诸多因素具有重要意义。然而，许多与药物更换相关的因素通常仅存在于非结构化临床记录中，难以提取。本文评估了最近开发的大型语言模型GPT-4（通过符合HIPAA要求的Microsoft Azure API）从UCSF Information Commons临床记录数据集中识别避孕药物不同类别之间更换原因的零样本能力。我们证明GPT-4能够准确提取避孕药物更换的原因，相较于基于BERT的基线模型，在避孕开始提取和停止提取的microF1分别为0.849和0.881。对GPT-4提取的更换原因进行的人工评估显示准确率为91.4%，几乎没有幻觉。利用提取的原因，我们使用无监督主题建模方法识别出患者偏好、不良事件和保险是避孕药物更换的关键原因。值得注意的是，我们还展示了使用本方法后，“体重增加/情绪变化”和“保险覆盖”在特定人群中被发现是避孕药物更换的比例较高的原因。我们的代码和补充数据已提供于https://github.com/BMiao10/contraceptive-switching。
引用
@article{arxiv.2402.03597,
title = {Identifying Reasons for Contraceptive Switching from Real-World Data Using Large Language Models},
author = {Brenda Y. Miao and Christopher YK Williams and Ebenezer Chinedu-Eneh and Travis Zack and Emily Alsentzer and Atul J. Butte and Irene Y. Chen},
journal= {arXiv preprint arXiv:2402.03597},
year = {2024}
}