一种可解释深度框架：面向多对一 MRI 合成的任务特定融合
图像与视频处理
2023-07-04 v1 计算机视觉与模式识别
摘要
多序列 MRI 在临床环境中对于可靠诊断与治疗预后具有重要价值，但某些序列因各种原因可能无法使用或缺失。为解决此问题，MRI 合成是一种潜在的方案。近期基于深度学习的方法在结合多个可用序列进行缺失序列合成方面取得了良好性能。尽管成功，这些方法缺乏量化不同输入序列贡献并估计生成图像质量的能力，难以实用。因此，我们提出一种可解释的任务特定合成网络，其针对特定序列生成任务自动适配权重，并从两方面提供可解释性与可靠性：（1）通过可训练的任务特定加权平均模块可视化融合阶段各输入序列的贡献；（2）通过任务特定注意力模块高亮网络在合成过程中试图细化的区域。我们在包含 1251 名受试者的 BraTS2021 数据集上实验，任意序列合成的结果表明所提方法优于 SOTA 方法。我们的代码见 \url{https://github.com/fiy2W/mri_seq2seq}。
引用
@article{arxiv.2307.00885,
title = {An Explainable Deep Framework: Towards Task-Specific Fusion for Multi-to-One MRI Synthesis},
author = {Luyi Han and Tianyu Zhang and Yunzhi Huang and Haoran Dou and Xin Wang and Yuan Gao and Chunyao Lu and Tan Tao and Ritse Mann},
journal= {arXiv preprint arXiv:2307.00885},
year = {2023}
}