e-Health CSIRO at "Discharge Me!" 2024: 使用微调语言模型生成出院摘要章节
计算与语言
2024-07-04 v1
摘要
临床文档是临床医生日常工作中重要的组成部分，往往需要耗费大量时间。BioNLP 2024 分享任务 Streamline Discharge Documentation（Discharge Me!）旨在通过自动生成出院摘要章节来缓解这一文档负担，包括简短病程和出院指征，这些内容往往耗时耗力地手工合成和书写。我们通过在输入上下文上进行多种配置的微调来解决生成任务，包括对多个开源语言模型（LMs）进行微调，这些模型包括 decoder-only 和 encoder-decoder LMs。我们还检查了解码算法、模型集成或合并以及模型专业化的不同设置。我们的结果表明，conditioning on 出院摘要目标章节之前的内容对生成任务有效。此外，我们发现，较小的 encoder-decoder LMs 在微调 LoRA 时，效果不输甚至略优于较大的 decoder based LMs。我们团队（aehrc）的模型 checkpoint 已公开提供。
引用
@article{arxiv.2407.02723,
title = {e-Health CSIRO at "Discharge Me!" 2024: Generating Discharge Summary Sections with Fine-tuned Language Models},
author = {Jinghui Liu and Aaron Nicolson and Jason Dowling and Bevan Koopman and Anthony Nguyen},
journal= {arXiv preprint arXiv:2407.02723},
year = {2024}
}
备注
BioNLP @ ACL 2024