基于深度网络的可解释无监督多模态图像配准
图像与视频处理
2023-08-07 v1 计算机视觉与模式识别
机器学习
摘要
基于磁共振成像（MRI）的临床决策结合了来自多个 MRI 序列（定义为“模态”）的互补信息。MRI 图像配准旨在几何上“配对”来自不同模态、时间点和切片的诊断。模态内与模态间 MRI 配准都是临床 MRI 环境中的重要组成部分。此外，能同时处理仿射与非刚性配准的 MRI 图像处理流水线至关重要，因为真实 MRI 数据场景中两类形变都可能出现。与图像分类不同，图像配准深度学习方法中的可解释性鲜被关注，因为针对变换场解释模型-数据行为具有挑战性。为妥善解决此问题，我们在无监督多模态多器官图像配准 DL 方法的各主要组件中引入基于 Grad-CAM 的可解释性框架。我们此前已证明能达到优越性能（优于当前标准 Syn 方法）。本工作中，我们展示我们的 DL 模型变得完全可解释，为在更广医学影像数据上推广该方法奠定了基础。
引用
@article{arxiv.2308.01994,
title = {Explainable unsupervised multi-modal image registration using deep networks},
author = {Chengjia Wang and Giorgos Papanastasiou},
journal= {arXiv preprint arXiv:2308.01994},
year = {2023}
}