Review GIDE——基于大语言模型的餐厅评论胃肠道疾病检测与信息提取

食源性胃肠道(GI)疾病是英国常见的致病因素。然而，许多病例并未与医疗系统接触，给传统监测方法带来了重大挑战。随着公开可用的在线餐厅评论的增多以及大语言模型(LLM)技术的进步，通过识别公众报告的胃肠道疾病来扩展疾病监测成为可能。本研究提出了一种新的标注方案，该方案由胃肠道疾病专家共同开发，并应用于Yelp开放数据集中的评论。我们的标注不仅限于二元疾病检测，还包括对症状和食物的详细提取。我们评估了开放权重LLM在这三项任务上的表现：胃肠道疾病检测、症状提取和食物提取。我们将LLM的性能与针对这些任务专门微调的RoBERTa分类模型进行了比较。结果表明，采用基于提示(prompt)的方法，LLM在所有三项任务上的微平均F1分数均超过90%。仅使用提示方法，我们就能取得超越较小微调模型的微平均F1分数。我们进一步通过三个以偏差为重点的实验，展示了LLM在胃肠道疾病检测中的鲁棒性。结果表明，公开可用的评论文本和大语言模型在胃肠道疾病的公共卫生监测方面具有巨大潜力，能够高效地提取关键信息。虽然LLM在处理过程中表现出的偏差极小，但餐厅评论数据固有的局限性强调了谨慎解读结果的必要性。