让专家持续参与：基于专家指导优化的临床数据分类大语言模型应用
人工智能
2024-12-04 v1
摘要
自大语言模型（LLMs）出现以来，如何有效利用其在医疗保健领域的潜力已成为核心挑战。将LLMs用于从非结构化临床记录中提取见解的一个关键障碍在于提示工程过程。尽管提示工程在决定任务性能方面起着关键作用，但目前仍缺乏一个清晰的提示优化框架。当前弥补这一空白的方法要么采用手动优化提示的方式，即领域专家与提示工程师合作创建最优提示，这种方式耗时且难以扩展；要么采用自动提示优化方法，但未能充分发挥领域专家输入的价值。为解决这一问题，我们提出了StructEase，这是一个在提示工程中弥合自动化与人类专业知识输入之间差距的新型框架。该框架的一个核心创新是SamplEase，这是一种迭代采样算法，能够识别出专家反馈可显著提升性能的高价值案例。这种方法最大限度地减少了专家干预，有效提升了分类效果。这种有针对性的方法减少了标注冗余，减轻了人为错误，并增强了分类结果。我们使用来自美国国家电子伤害监测系统（NEISS）的去标识化临床叙述数据集评估了StructEase的性能，结果显示，与当前方法相比，分类性能显著提升。我们的研究结果强调了在LLM工作流中整合专家意见的价值，在保持最少专家投入的同时，实现了F1分数的显著提高。通过结合透明度、灵活性和可扩展性，StructEase为将专家输入整合到医疗保健及其他领域的LLM工作流中奠定了基础框架。
引用
@article{arxiv.2412.02173,
title = {Keeping Experts in the Loop: Expert-Guided Optimization for Clinical Data Classification using Large Language Models},
author = {Nader Karayanni and Aya Awwad and Chein-Lien Hsiao and Surish P Shanmugam},
journal= {arXiv preprint arXiv:2412.02173},
year = {2024}
}