RadAdapt：通过大语言模型的轻量级领域适配实现放射学报告摘要
计算与语言
2023-07-21 v3
摘要
我们系统地研究了将大语言模型（LLMs）适配于放射学报告摘要（RRS）任务的轻量级策略。具体而言，我们聚焦于通过预训练（在自然语言、生物医学文本或临床文本上）以及通过离散提示或参数高效微调进行领域适配。我们的结果一致表明，通过在临床文本上预训练并在RRS样例上微调，对任务进行最大化适配可取得最佳性能。重要的是，该方法仅微调了模型中区区0.32%的参数，而端到端微调则为100%的参数。此外，我们研究了上下文示例与分布外（OOD）训练的影响，随后以放射科医生阅读研究和定性分析作结。我们的发现凸显了领域适配在RRS中的重要性，并为开发面向临床任务的有效自然语言处理方案提供了有价值的见解。
引用
@article{arxiv.2305.01146,
title = {RadAdapt: Radiology Report Summarization via Lightweight Domain Adaptation of Large Language Models},
author = {Dave Van Veen and Cara Van Uden and Maayane Attias and Anuj Pareek and Christian Bluethgen and Malgorzata Polacin and Wah Chiu and Jean-Benoit Delbrouck and Juan Manuel Zambrano Chaves and Curtis P. Langlotz and Akshay S. Chaudhari and John Pauly},
journal= {arXiv preprint arXiv:2305.01146},
year = {2023}
}
备注
12 pages, 10 figures. Published in ACL BioNLP. Compared to v1, v2 includes minor edits and one additional figure in the appendix. Compared to v2, v3 includes a link to the project's GitHub repository