PM2：一种用于少样本医学图像分类的新型提示多模态模型范式
计算机视觉与模式识别
2024-05-28 v2 机器学习
摘要
少样本学习已成功应用于医学图像分类，因为只有极少数医学样本可用于训练。由于标注医学图像数量有限这一挑战性问题，图像表示不应仅源自单一图像模态，这不足以刻画概念类别。在本文中，我们基于多模态基础模型，提出了一种用于医学图像分类的新型提示多模态模型范式，称为 PM2。除了图像模态，PM2 引入了另一种补充性文本输入，即提示，以进一步描述相应的图像或概念类别，并促进跨不同模态的少样本学习。为了更好地探索提示工程的潜力，我们在新范式下实证研究了五种不同的提示方案。此外，多模态模型中的线性探测作为一个线性分类头，仅以类别令牌作为输入，完全忽略了高层视觉令牌中固有的丰富统计信息。因此，我们改为同时对视觉令牌和类别令牌的特征分布进行线性分类。为了有效挖掘这些丰富统计信息，我们使用了一种带有高效矩阵幂归一化的全局协方差池化来聚合视觉令牌。然后，我们研究并结合了两个分类头。一个由视觉编码器的图像类别令牌和文本编码器编码的提示表示共享。另一个用于对视觉编码器输出的视觉令牌的特征分布进行分类。在三个医学数据集上的大量实验表明，我们的 PM2 无论采用何种提示方案，都显著优于同类方法，并达到了最先进的性能。
引用
@article{arxiv.2404.08915,
title = {PM2: A New Prompting Multi-modal Model Paradigm for Few-shot Medical Image Classification},
author = {Zhenwei Wang and Qiule Sun and Bingbing Zhang and Pengfei Wang and Jianxin Zhang and Qiang Zhang},
journal= {arXiv preprint arXiv:2404.08915},
year = {2024}
}