DS3-Net：面向难度感知的从常规模态到 T1ce 的半监督多模态 MRI 合成网络
图像与视频处理
2022-03-15 v1 计算机视觉与模式识别
摘要
对比增强 T1 (T1ce) 是诊断和分析脑肿瘤（尤其是胶质瘤）最重要的磁共振成像 (MRI) 模态之一。在临床实践中，T1、T2 和液体衰减反转恢复等常规 MRI 模态相对容易获取，而考虑到对比剂的额外成本与过敏潜在风险，T1ce 更具挑战性。因此，开发一种从其他常规模态合成 T1ce 的方法具有重要的临床必要性。当前的成对图像翻译方法通常存在需要大量成对数据、且在合成过程中不关注感兴趣特定区域（如肿瘤区域）的问题。为解决这些问题，我们提出了一种难度感知的从常规模态到 T1ce 的半监督多模态 MRI 合成网络 (DS3-Net)，其同时利用成对与非成对数据以及双级知识蒸馏。DS3-Net 预测一张难度图以逐步推进合成任务。具体而言，像素级约束与块级对比约束由所预测的难度图引导。通过在公开可用的 BraTS2020 数据集上的大量实验，DS3-Net 在各方面均优于其全监督对应方法。此外，仅使用 5% 的成对数据，所提出的 DS3-Net 即可达到利用 100% 成对数据的当前最优 (SOTA) 图像翻译方法具有竞争力的性能，取得平均 SSIM 为 0.8947、平均 PSNR 为 23.60。
引用
@article{arxiv.2203.06920,
title = {DS3-Net: Difficulty-perceived Common-to-T1ce Semi-Supervised Multimodal MRI Synthesis Network},
author = {Ziqi Huang and Li Lin and Pujin Cheng and Kai Pan and Xiaoying Tang},
journal= {arXiv preprint arXiv:2203.06920},
year = {2022}
}
备注
10 pages, 2 figures