MiniGPT-Pancreas：用于胰腺癌分类和检测的多模态大语言模型
计算机视觉与模式识别
2025-11-19 v1 人工智能
摘要
问题：胰腺放射学成像困难，由于器官尺寸小、边界模糊以及在患者间形状和位置的变异性。目标：本文提出 MiniGPT-Pancreas，一种多模态大语言模型（MLLM），作为交互式聊天机器人，支持临床医生进行胰腺癌诊断，通过整合视觉和文本信息。方法：MiniGPT-v2 是一种通用型 MLLM，通过级联方式进行微调，以支持胰腺检测、肿瘤分类和肿瘤检测，采用结合问题和来自国家卫生研究所（NIH）以及医学分割锦标赛（MSD）数据集中的CT扫描的多模态提示。用于检测肝脏、脾脏、肾脏和胰腺的 AbdomenCT-1k 数据集。结果：MiniGPT-Pancreas 在 NIH 和 MSD 数据集上分别实现胰腺检测的交并比（IoU）为 0.595 和 0.550。对于 MSD 数据集上的胰腺癌分类任务，准确率、精确率和召回率分别为 0.876、0.874 和 0.878。评估 MiniGPT-Pancreas 在 AbdomenCT-1k 数据集上的多器官检测任务时，肝脏的 IoU 为 0.8399，肾脏为 0.722，脾脏为 0.705，胰腺为 0.497。对于胰腺肿瘤检测任务，IoU 分数在 MSD 数据集上为 0.168。结论：MiniGPT-Pancreas 为支持临床医生对胰腺图像进行分类具有前景，尤其是胰腺肿瘤。未来研究需要提高检测任务的得分，尤其是胰腺肿瘤。
引用
@article{arxiv.2412.15925,
title = {MiniGPT-Pancreas: Multimodal Large Language Model for Pancreas Cancer Classification and Detection},
author = {Andrea Moglia and Elia Clement Nastasio and Luca Mainardi and Pietro Cerveri},
journal= {arXiv preprint arXiv:2412.15925},
year = {2025}
}