BiomedGPT：面向多样生物医学任务的通用视觉-语言基础模型
计算与语言
2024-08-13 v4 人工智能
摘要
传统的生物医学人工智能（AI）模型专为特定任务或模态设计，在真实部署中常表现出有限灵活性，且难以利用整体信息。通用 AI 因其解读不同数据类型并为多样需求生成定制输出的通用性，有潜力解决这些局限。然而，现有的生物医学通用 AI 方案通常对研究人员、从业者和患者而言是重量级且闭源的。在此，我们提出 BiomedGPT，首个开源且轻量级的视觉-语言基础模型，设计为能执行各种生物医学任务的通用模型。BiomedGPT 在 25 项实验中的 16 项上取得了最先进结果，同时保持计算友好的模型规模。我们还进行了人工评估，以衡量 BiomedGPT 在放射学视觉问答、报告生成与摘要方面的能力。BiomedGPT 展现出稳健的预测能力，问答错误率低至 3.8%；在撰写复杂放射学报告方面表现令人满意，错误率为 8.3%；摘要能力具竞争力，偏好分数近乎与人类专家等同。我们的方法表明，利用多样数据的有效训练可催生更实用的生物医学 AI，从而改善诊断与工作流效率。
引用
@article{arxiv.2305.17100,
title = {BiomedGPT: A Generalist Vision-Language Foundation Model for Diverse Biomedical Tasks},
author = {Kai Zhang and Rong Zhou and Eashan Adhikarla and Zhiling Yan and Yixin Liu and Jun Yu and Zhengliang Liu and Xun Chen and Brian D. Davison and Hui Ren and Jing Huang and Chen Chen and Yuyin Zhou and Sunyang Fu and Wei Liu and Tianming Liu and Xiang Li and Yong Chen and Lifang He and James Zou and Quanzheng Li and Hongfang Liu and Lichao Sun},
journal= {arXiv preprint arXiv:2305.17100},
year = {2024}
}
备注
Fix incorrect citations and add journal reference for the published version. Nat Med (2024)