通过大语言模型中期训练提升放射科报告自动摘要质量
计算与语言
2026-04-13 v2 人工智能
摘要
放射科报告自动摘要是减轻医生负担的重要应用。以往研究广泛采用“预训练、微调”策略以适配大语言模型（LLM）进行摘要生成。本文提出通过中期训练实现子域适应，以提升摘要质量。我们探索了三种适应策略：（1）通用域预训练，（2）临床域预训练，（3）临床域预训练后进行子域中期训练。我们基于肯塔基大学（UF）Health 的大规模临床文本开发模型，并使用 OpenI 和 MIMIC-CXR 等常用基准数据集进行中期训练和微调实验。实验结果表明，经过中期训练的模型 GatorTronT5-Radio 性能最佳，在文本基于指标（ROUGE-L）和事实性指标（RadGraph-F1）上均优于未进行中期训练的模型。我们的中期训练方法还表现出更好的少样本学习能力，可缓解以往研究报告的“冷启动”问题作为学习障碍。我们的发现支持“预训练、中期训练、微调”而非广泛使用的直接微调策略的使用。
引用
@article{arxiv.2603.19275,
title = {Improving Automatic Summarization of Radiology Reports through Mid-Training of Large Language Models},
author = {Mengxian Lyu and Cheng Peng and Ziyi Chen and Mengyuan Zhang and Jieting Li Lu and Yonghui Wu},
journal= {arXiv preprint arXiv:2603.19275},
year = {2026}
}