MedImageInsight：面向通用医学影像领域的开源嵌入模型
图像与视频处理
2024-10-10 v1 计算机视觉与模式识别
摘要
本文介绍了 MedImageInsight，一个开源的医学影像嵌入模型。MedImageInsight 在包括 X 光、CT、MRI、皮肤病学、OCT、眼底照相、超声、组织病理和乳腿钛片等多个领域的医学图像上进行训练，配合文本和标签。严格的评估表明，MedImageInsight 在分类、图像-图像检索和微调任务中均可实现或达到人类专家水平。具体而言，在公开数据集上，MedImageInsight 在 3D 医学图像检索中实现最新进展（SOTA），并在胸部 X 光、皮肤病学和 OCT 影像的疾病分类与检索中实现 SOTA。此外，MedImageInsight 在骨龄估计（在公开数据和合作数据上）中达到人类专家水平，以及大多数其他领域的 AUC 值超过 0.9。当配合文本解码器时，MedImageInsight 可实现接近 SOTA 水平的单张图像报告 finding 生成，而所需参数不足其他模型的 10%。与仅使用 MIMIC-CXR 数据对 GPT-4o 进行微调的做法相比，MedImageInsight 在临床指标上表现更优，但在词汇指标上不及 GPT-4o 所达到的 SOTA。值得注意的是，出于监管目的，MedImageInsight 能够生成 ROC 曲线，根据临床需求调整灵敏度和特异度，并通过图像-图像检索提供基于证据的决策支持（该检索也可实现检索增强生成）。在胸部 X 光图像-图像检索的独立临床评估中，MedImageInsight 以显著优势的性能超过了所有其他公开可用的基础模型（AUC 超过 6 分），并在年龄和性别方面的 AI 公平性方面显著优于其他模型。我们希望发布 MedImageInsight 能促进医学影像 AI 研究与开发的整体进展。
引用
@article{arxiv.2410.06542,
title = {MedImageInsight: An Open-Source Embedding Model for General Domain Medical Imaging},
author = {Noel C. F. Codella and Ying Jin and Shrey Jain and Yu Gu and Ho Hin Lee and Asma Ben Abacha and Alberto Santamaria-Pang and Will Guyman and Naiteek Sangani and Sheng Zhang and Hoifung Poon and Stephanie Hyland and Shruthi Bannur and Javier Alvarez-Valle and Xue Li and John Garrett and Alan McMillan and Gaurav Rajguru and Madhu Maddi and Nilesh Vijayrania and Rehaan Bhimai and Nick Mecklenburg and Rupal Jain and Daniel Holstein and Naveen Gaur and Vijay Aski and Jenq-Neng Hwang and Thomas Lin and Ivan Tarapov and Matthew Lungren and Mu Wei},
journal= {arXiv preprint arXiv:2410.06542},
year = {2024}
}