大语言模型用于生物医学文本简化：前景广阔但尚未达标
计算与语言
2024-10-23 v2 人工智能
摘要
在本系统报告中，我们描述了参与TAC 2023轨道中PLABA2023生物医学摘要简化任务所使用的模型与方法。我们提交的系统输出来自以下三个类别：1）领域微调的类T5模型，包括Biomedical-T5和Lay-SciFive；2）通过令牌控制属性的微调BARTLarge模型BART-w-CTs；3）ChatGPT提示工程。我们还展示了针对该任务在BioGPT微调方面开展的工作。在使用SARI分数的官方自动评估中，BeeManc在所有团队中排名第二，我们的模型LaySciFive在所有13个评估系统中排名第三。在官方人工评估中，我们的模型BART-w-CTs在所有7个评估系统中句子简洁度排名第二（得分92.84），术语简洁度排名第三（得分82.33）；其在流畅度上也获得了91.57的高分，与最高分93.53相近。在第二轮提交中，我们使用ChatGPT提示工程的团队在多个类别中排名第二，包括简化术语准确率得分92.26和完整性得分96.58，且在忠实度得分95.3上与重新评估的PLABA-base-1（95.73）非常接近（通过人工评估）。我们的代码、微调模型、提示以及系统开发阶段的数据划分将在 https://github.com/ HECTA-UoM/PLABA-MU 上公开。
引用
@article{arxiv.2408.03871,
title = {Large Language Models for Biomedical Text Simplification: Promising But Not There Yet},
author = {Zihao Li and Samuel Belkadi and Nicolo Micheletti and Lifeng Han and Matthew Shardlow and Goran Nenadic},
journal= {arXiv preprint arXiv:2408.03871},
year = {2024}
}
备注
Extended system report for PLABA-2023. arXiv admin note: substantial text overlap with arXiv:2309.13202