多模态医学图像分割和预后术语高效参数适配
计算机视觉与模式识别
2025-04-21 v1 机器学习
摘要
癌症检测和预后高度依赖医学影像，尤其是CT和PET扫描。深度神经网络（DNN）在通过融合这些模态信息实现肿瘤分割方面显示出前景。然而，一个关键瓶颈存在：对训练和推断同时依赖CT-PET数据，这由于PET扫描的稀缺性而提出挑战。因此，需要一种灵活且高效的框架，可仅使用广泛可用的CT扫描进行训练，并在PET扫描可用时进行适配。本文提出了参数高效多模态适配（PEMMA）框架，用于轻量级升级仅基于CT扫描训练的transformer-based分割模型，以便在PET扫描可用时进行高效适配。该框架进一步扩展用于执行预后任务，同时保持相同的高效跨模态微调方法。该方法使用两个著名的分割backbone，即UNETR和Swin UNETR进行测试。我们的方法具有两个主要优势。首先，我们利用transformer架构的内在模块性，对注意力权重进行低秩适配（LoRA）以及分解低秩适配（DoRA），实现参数高效适配。其次，通过最小化跨模态 entanglement，PEMMA允许仅使用一种模态进行更新，而不会导致另一种模态的灾难性遗忘。我们的方法在参数可训练量仅为early fusion的8%时实现了相当于early fusion的性能，并在仅单一模态训练时，PET扫描上的Dice评分提升了显著的+28%。在预后任务中，我们的方法在将CT预训练模型适配以包括PET扫描时，将concordance index提升+10%，而在为两种PET和EHR数据进行适配时提升+23%。
引用
@article{arxiv.2504.13645,
title = {Efficient Parameter Adaptation for Multi-Modal Medical Image Segmentation and Prognosis},
author = {Numan Saeed and Shahad Hardan and Muhammad Ridzuan and Nada Saadi and Karthik Nandakumar and Mohammad Yaqub},
journal= {arXiv preprint arXiv:2504.13645},
year = {2025}
}