探究大语言模型与控制机制以改善生物医学摘要文本可读性
计算与语言
2024-03-19 v2 人工智能
摘要
生物医学文献常使用复杂语言且难以理解的专业术语。因此简化在提升公众健康素养方面起着重要作用。应用自然语言处理(NLP)模型自动化此类任务可为普通读者提供快速且直接的获取途径。在本工作中，我们研究了最先进的大语言模型(LLMs)在生物医学摘要简化任务上的能力，使用了公开可用的生物医学摘要简明语言改编数据集(\textbf{PLABA})。所应用的方法包括对以下模型进行领域微调与基于提示的学习(PBL)：1) 编码器-解码器模型(T5、SciFive和BART)，2) 仅解码器的GPT模型(来自OpenAI的GPT-3.5和GPT-4以及BioGPT)，3) 基于BART模型上的控制令牌机制。我们使用了一系列自动评价指标，包括BLEU、ROUGE、SARI和BERTscore，并进行了人工评价。带有控制令牌(CT)机制的BART-Large(BART-L-w-CT)报告了最高的SARI分数46.54，而T5-base报告了最高的BERTscore 72.62。在人工评价中，BART-L-w-CTs获得了优于T5-Base的简洁性分数(2.9对2.2)，而T5-Base获得了优于BART-L-w-CTs的语义保持分数(3.1对2.6)。我们还对系统输出进行了分类并给出示例，希望能为该任务的未来研究提供一些启示。我们的代码、微调模型和数据集划分可在\url{https://github.com/HECTA-UoM/PLABA-MU}获取。
引用
@article{arxiv.2309.13202,
title = {Investigating Large Language Models and Control Mechanisms to Improve Text Readability of Biomedical Abstracts},
author = {Zihao Li and Samuel Belkadi and Nicolo Micheletti and Lifeng Han and Matthew Shardlow and Goran Nenadic},
journal= {arXiv preprint arXiv:2309.13202},
year = {2024}
}
备注
Accepted by IEEE-ICHI 2024 https://ieeeichi2024.github.io/