MedForge: 类开源软件开发的医学基础模型构建
机器学习
2025-02-27 v1 密码学与安全
计算机视觉与模式识别
软件工程
摘要
基础模型在医疗领域取得了显着进展。然而，数据孤岛和隐私问题仍是医疗系统中的瓶颈，阻碍了医疗数据的安全共享和跨机构协作模型开发。临床数据集的收集和策源日益成为训练强大基础模型的瓶颈。在本研究中，我们提出了一种医学基础模型合并(MedForge)框架，实现社区驱动的医学基础模型开发，同时防止原始患者数据泄露，缓解跨临床机构同步模型开发问题。MedForge通过灵活合并特定任务的低秩适应(LoRA)模块，提供一种自下而上的模型构建机制，这些模块可以适应下游任务，同时保留原始模型参数。通过异步LoRA模块集成方案，最终合并模型可逐步提升其在各种临床任务上的综合性能。MedForge在来自不同机构收集的多个临床数据集(例如乳腺癌、肺癌和结肠癌)上表现出色。我们的主要发现突显了在有效且一致地推进多中心临床合作方面的协作基础模型的价值。我们的代码已公开available at https://github.com/TanZheling/MedForge。
引用
@article{arxiv.2502.16055,
title = {MedForge: Building Medical Foundation Models Like Open Source Software Development},
author = {Zheling Tan and Kexin Ding and Jin Gao and Mu Zhou and Dimitris Metaxas and Shaoting Zhang and Dequan Wang},
journal= {arXiv preprint arXiv:2502.16055},
year = {2025}
}