基于缺失模态合成与模态级注意力融合的多模态脑肿瘤分割
图像与视频处理
2022-03-10 v1 计算机视觉与模式识别
摘要
多模态磁共振 (MR) 成像为脑胶质瘤的诊断与分析提供了巨大潜力。在临床场景中，T1、T2与FLAIR等常见MR序列可在单次扫描过程中同时获取。然而，获取T1ce等对比增强模态需要额外的时间、成本及造影剂注射。因此，开发一种合成不可用模态的方法，并将其作为下游任务（如脑肿瘤分割）的附加输入以提升性能，具有临床意义。本工作中，我们提出一个名为模态级注意力融合网络 (MAF-Net) 的端到端框架，其中创新性地执行块级对比学习以提取多模态潜在特征，并动态分配注意力权重以融合不同模态。通过在BraTS2020上的大量实验，我们发现所提MAF-Net取得了优越的T1ce合成性能（SSIM为0.8879，PSNR为22.78）与准确的脑肿瘤分割（对肿瘤核心、增强肿瘤与全肿瘤的均值Dice分数分别为67.9%、41.8%与88.0%）。
引用
@article{arxiv.2203.04586,
title = {Multi-modal Brain Tumor Segmentation via Missing Modality Synthesis and Modality-level Attention Fusion},
author = {Ziqi Huang and Li Lin and Pujin Cheng and Linkai Peng and Xiaoying Tang},
journal= {arXiv preprint arXiv:2203.04586},
year = {2022}
}
备注
6 pages, 5 figures, submitted to ICPR 2022