通过适配多模态大语言模型融合临床指南用于前列腺癌 PI-RADS 评分
计算机视觉与模式识别
2024-07-11 v2
摘要
前列腺影像报告和数据系统（PI-RADS）在通过 MRI 影像诊断临床显著性前列腺癌中至关重要。当前基于深度学习的 PI-RADS 评分方法通常缺乏放射科医生所使用的常见 PI-RADS 临床指南（PICG）的融合，这可能会影响评分准确性。本文提出了一种新颖的方法，通过适配多模态大语言模型（MLLM），将 PICG 融合到 PI-RADS 评分模型中，而无需额外的标注和网络参数。我们提出了一种设计的两阶段微调过程，旨在将最初在自然图像上训练的 MLLM 适配到 MRI 图像，同时有效地整合 PICG。具体而言，在第一阶段，我们开发了一个专为处理 3D MRI 输入定制的领域适配器层，并指导 MLLM 区分 MRI 序列。在第二阶段，我们转化 PICG 以指导模型生成 PICG 引导的图像特征。通过这样的特征蒸馏步骤，我们将评分网络的特征与 PICG 引导的图像特征对齐，这使得模型能够有效地融合 PICG 信息。我们在公开数据集上开发了我们的模型，并在内部数据集上进行了评估。实验结果表明，我们的方法有效地提高了当前评分网络的性能。代码可在：https://github.com/med-air/PICG2scoring 获取
引用
@article{arxiv.2405.08786,
title = {Incorporating Clinical Guidelines through Adapting Multi-modal Large Language Model for Prostate Cancer PI-RADS Scoring},
author = {Tiantian Zhang and Manxi Lin and Hongda Guo and Xiaofan Zhang and Ka Fung Peter Chiu and Aasa Feragen and Qi Dou},
journal= {arXiv preprint arXiv:2405.08786},
year = {2024}
}