生成式大语言模型是通用文本分析引擎：文本到文本学习即你所需
计算与语言
2023-12-12 v1
摘要
目的 通过提示微调，使用基于生成式大语言模型（LLM）的统一文本到文本学习架构，解决主要的临床自然语言处理（NLP）任务。方法 我们将7个关键的临床NLP任务形式化为文本到文本学习，并使用一个统一的生成式临床LLM——GatorTronGPT来解决它们。该模型采用GPT-3架构开发，并使用高达200亿个参数进行训练。我们采用了软提示（即可训练向量）与冻结的LLM相结合的方法，其中LLM参数不更新（即冻结），仅更新软提示的向量，这被称为提示微调。我们在输入层添加了额外的软提示作为前缀，这些前缀在提示微调过程中被优化。我们使用7个临床NLP任务评估了所提出的方法，并将其与之前基于Transformer模型的特定任务解决方案进行了比较。结果与结论 所提出的方法使用一个统一的生成式LLM，在7个主要临床NLP任务中的5个上达到了最先进的性能。我们的方法在应用于健康社会决定因素的概念提取和关系提取方面，分别比之前的特定任务Transformer模型高出约3%和7%；在临床概念标准化方面高出3.4%；在临床缩写消歧方面高出3.4~10%；在自然语言推理方面高出5.5~9%。我们的方法在临床概念和关系提取方面，也优于先前开发的基于提示的机器阅读理解（MRC）模型GatorTron-MRC。所提出的方法可以使用一个统一的生成式LLM，实现从训练到部署的“一个模型满足所有需求”的承诺。
引用
@article{arxiv.2312.06099,
title = {Generative Large Language Models Are All-purpose Text Analytics Engines: Text-to-text Learning Is All Your Need},
author = {Cheng Peng and Xi Yang and Aokun Chen and Zehao Yu and Kaleb E Smith and Anthony B Costa and Mona G Flores and Jiang Bian and Yonghui Wu},
journal= {arXiv preprint arXiv:2312.06099},
year = {2023}
}