通过提示微调利用大语言模型自动总结医患问诊对话
计算与语言
2024-03-21 v1
摘要
自动文本摘要（ATS）是一项新兴技术，旨在协助临床医生提供连续且协调的护理。本研究提出了一种使用生成式大语言模型（LLMs）总结医患对话的方法。我们开发了提示微调算法，以指导生成式 LLMs 总结临床文本。我们考察了提示微调策略、软提示的大小以及 GatorTronGPT 的少样本学习能力，GatorTronGPT 是一个使用 2770 亿临床和通用英语单词开发、具有高达 200 亿参数的生成式临床 LLM。我们使用临床基准数据集 MTS-DIALOG，将 GatorTronGPT 与基于广泛使用的 T5 模型微调的先前解决方案进行了比较。实验结果表明，GatorTronGPT-20B 模型在所有评估指标上均取得了最佳性能。由于在提示微调期间未更新 LLM 参数，所提出的解决方案计算成本较低。本研究展示了通过提示微调，生成式临床 LLMs 在临床 ATS 中的有效性。
引用
@article{arxiv.2403.13089,
title = {Automatic Summarization of Doctor-Patient Encounter Dialogues Using Large Language Model through Prompt Tuning},
author = {Mengxian Lyu and Cheng Peng and Xiaohan Li and Patrick Balian and Jiang Bian and Yonghui Wu},
journal= {arXiv preprint arXiv:2403.13089},
year = {2024}
}