中文

利用ChatGPT进行药物警戒事件提取:一项实证研究

计算与语言 2024-02-27 v1

摘要

随着大型语言模型(LLMs)的出现,人们对其在医疗应用中的潜力越来越感兴趣。本研究旨在探讨LLMs(特别是ChatGPT)在药物警戒事件提取任务中的能力,该任务的主要目标是从文本医学来源中识别和提取不良事件或潜在治疗事件。我们进行了大量实验,使用各种提示和演示选择策略来评估ChatGPT在药物警戒事件提取任务中的表现。研究结果表明,虽然ChatGPT在适当的演示选择策略下表现出合理的性能,但与完全微调的小模型相比仍有差距。此外,我们探索了利用ChatGPT进行数据增强的潜力。然而,我们的调查显示,将合成数据纳入微调可能会导致性能下降,这可能归因于ChatGPT生成标签中的噪声。为了缓解这一问题,我们探索了不同的过滤策略,并发现通过适当的方法,可以获得更稳定的性能,尽管持续的改进仍然难以实现。

关键词

引用

@article{arxiv.2402.15663,
  title  = {Leveraging ChatGPT in Pharmacovigilance Event Extraction: An Empirical Study},
  author = {Zhaoyue Sun and Gabriele Pergola and Byron C. Wallace and Yulan He},
  journal= {arXiv preprint arXiv:2402.15663},
  year   = {2024}
}

备注

14 pages, 2 figures, accepted by EACL 2024