JRadiEvo：一种通过模型融合的进化优化增强的日语放射科报告生成模型
计算机视觉与模式识别
2024-11-18 v1 人工智能
计算与语言
神经与进化计算
摘要
随着大语言模型（LLM）的快速发展，基础模型（FM）取得了显著进展。医疗保健是这些基础模型最关键的应用领域之一，因为医生分析大量患者数据需要大量时间和精力。近期的工作集中于通过指令微调等技术将多模态基础模型适配到医疗领域，从而开发出医疗基础模型（MFM）。然而，这些方法通常需要大量训练数据才能有效地将模型适配到医疗领域。此外，大多数现有模型基于英语数据集训练，限制了它们在非英语地区的实用性，因为那里的医疗专业人员和患者并不总是精通英语。翻译需求带来了额外的成本和低效。为应对这些挑战，我们提出了一种通过模型融合的进化优化增强的日语放射科报告生成模型（JRadiEvo）。这是首次尝试通过模型融合的进化优化将非医疗视觉-语言基础模型扩展到医疗领域。我们成功创建了一个模型，仅使用公开数据的 50 个翻译样本，就能从 X 射线图像生成准确的日语报告。该模型以极高的数据效率开发，性能超越了近期研究中在大得多的数据集上训练的领先模型。此外，该模型仅有 80 亿参数，是一个相对紧凑的基础模型，可在医院本地部署，使其成为因严格隐私和安全要求而无法使用 API 和其他外部服务的环境下的实用解决方案。
引用
@article{arxiv.2411.09933,
title = {JRadiEvo: A Japanese Radiology Report Generation Model Enhanced by Evolutionary Optimization of Model Merging},
author = {Kaito Baba and Ryota Yagi and Junichiro Takahashi and Risa Kishikawa and Satoshi Kodera},
journal= {arXiv preprint arXiv:2411.09933},
year = {2024}
}
备注
Accepted by NeurIPS'24 Workshop on AIM-FM: Advancements In Medical Foundation Models: Explainability, Robustness, Security, and Beyond