使用 ChatGPT 对药物处方进行零样本和少样本命名实体识别与文本扩展
计算与语言
2024-09-27 v1 人工智能
摘要
引言：药物处方通常为自由文本，包含两种语言、本地品牌名以及各种特殊格式和缩写。大型语言模型（LLM）已展现出根据输入提示生成文本的潜力。我们使用 ChatGPT 3.5 自动构建和扩展出院小结中的用药陈述，使其更易于人和机器解读。方法：在零样本和少样本设置下，采用不同的提示策略进行命名实体识别（NER）和文本扩展（EX）。对 100 条用药陈述进行了人工标注和整理。NER 性能通过严格匹配和部分匹配来衡量。对于 EX 任务，两位专家通过评估原始陈述与扩展陈述之间的语义等价性来解释结果。模型性能通过精确率、召回率和 F1 分数来衡量。结果：对于 NER，表现最佳的提示在测试集上达到了 0.94 的平均 F1 分数。对于 EX，少样本提示在其他提示中表现出优越性能，平均 F1 分数为 0.87。结论：我们的研究表明，使用 ChatGPT 处理自由文本用药陈述的 NER 和 EX 任务具有良好的性能。与零样本基线相比，少样本方法防止了系统产生幻觉，这在处理与安全相关的用药数据时是不可接受的。
引用
@article{arxiv.2409.17683,
title = {Zero- and Few-shot Named Entity Recognition and Text Expansion in Medication Prescriptions using ChatGPT},
author = {Natthanaphop Isaradech and Andrea Riedel and Wachiranun Sirikul and Markus Kreuzthaler and Stefan Schulz},
journal= {arXiv preprint arXiv:2409.17683},
year = {2024}
}