PEMMA：用于医学图像分割的参数高效多模态适应
图像与视频处理
2024-04-23 v1 计算机视觉与模式识别
机器学习
摘要
如计算断层扫描 (CT) 和正电子断层扫描 (PET) 这样的成像模态是癌症检测的关键，激发了合并这些扫描用于肿瘤分割的深度神经网络 (DNN) 模型。当两者都可用时，常见的做法是将其作为输入的两个通道。然而，这种方法在训练和推理时需要两种扫描类型，由于PET扫描的可得性有限，这有时仅限于使用CT扫描。因此，需要开发一种灵活的 DNN 架构，该架构仅使用CT扫描进行训练/更新，但在PET扫描可用时能够有效利用。本文提出了一种参数高效多模态适应 (PEMMA) 框架，用于针对仅基于CT扫描训练的基于转换器的分割模型进行轻量级升级，以同时整合PET扫描。的提出方法的优势体现在两个方面：首先，我们利用转换器体系结构的内在模块性，对注意力权重进行低秩适应 (LoRA)，实现参数高效适应。其次，由于PEMMA框架试图最小化跨模态 entanglement，后续可以使用单一模态更新组合模型，而不会导致其他模态的灾难性遗忘。我们提出的方法仅使用可训练参数的 8% 即可实现与早期融合技术相当的性能，尤其在仅基于单一模态训练时，对PET扫描平均 dice 评分提升了惊人的 +28%。
引用
@article{arxiv.2404.13704,
title = {PEMMA: Parameter-Efficient Multi-Modal Adaptation for Medical Image Segmentation},
author = {Nada Saadi and Numan Saeed and Mohammad Yaqub and Karthik Nandakumar},
journal= {arXiv preprint arXiv:2404.13704},
year = {2024}
}