面向多序列 3D/4D MRI 的基于合成的成像-区分表示学习
计算机视觉与模式识别
2023-02-02 v1 图像与视频处理
摘要
由于序列间的互补信息，多序列 MRI 在临床实践中对于可靠诊断可能是必要的。然而，序列间存在冗余信息，干扰了现代机器学习或深度学习模型挖掘高效表示。为应对各种临床场景，我们提出一种序列到序列生成框架（Seq2Seq）用于成像-区分表示学习。在本研究中，我们不仅在一个模型内提出任意 3D/4D 序列生成以生成任意指定目标序列，还能基于估计序列被生成难度的新度量对各序列重要性排序。此外，我们利用模型的生成能力不足来提取每个序列所含独特信息的区域。我们使用三个数据集进行了广泛实验，包括 20,000 名模拟受试者的玩具数据集、1,251 名受试者的脑 MRI 数据集和 2,101 名受试者的乳腺 MRI 数据集，以证明（1）我们提出的 Seq2Seq 对复杂临床数据集高效且轻量，并能取得优异图像质量；（2）排名靠前的序列可替代完整序列且性能不劣；（3）将 MRI 与我们的成像-区分图结合可提升临床任务性能，如胶质母细胞瘤 MGMT 启动子甲基化状态预测和乳腺癌病理完全缓解状态预测。我们的代码见 https://github.com/fiy2W/mri_seq2seq。
引用
@article{arxiv.2302.00517,
title = {Synthesis-based Imaging-Differentiation Representation Learning for Multi-Sequence 3D/4D MRI},
author = {Luyi Han and Tao Tan and Tianyu Zhang and Yunzhi Huang and Xin Wang and Yuan Gao and Jonas Teuwen and Ritse Mann},
journal= {arXiv preprint arXiv:2302.00517},
year = {2023}
}