基于高斯过程先验变分自编码器的模态补全用于多模态胶质瘤分割
图像与视频处理
2021-07-09 v1 计算机视觉与模式识别
机器学习
摘要
在涉及多协议磁共振成像（MRI）的大型研究中，由于质量较差（如成像伪影）、采集失败或检查中途中断，给定患者可能会缺失一个或多个子模态。在某些情况下，由于扫描时间有限或需回顾性协调两项独立研究的成像协议，某些协议不可用。缺失图像模态对分割框架构成挑战，因为缺失扫描所提供的互补信息随之丢失。本文提出一种新模型——多模态高斯过程先验变分自编码器（MGP-VAE），用于填补患者扫描中一个或多个缺失的子模态。MGP-VAE 可利用变分自编码器（VAE）上的高斯过程（GP）先验来利用受试者/患者与子模态间的相关性。无需为每个可能存在的子模态子集设计一个网络或使用混合特征图的框架，缺失数据可由基于所有可用样本的单模型生成。我们展示了 MGP-VAE 在脑肿瘤分割中的适用性，其中四个子模态中可能有零个、两个或三个缺失。我们在 BraTS'19 数据集上针对缺失子模态的竞争性分割基线实验表明了 MGP-VAE 模型用于分割任务的有效性。
引用
@article{arxiv.2107.03442,
title = {Modality Completion via Gaussian Process Prior Variational Autoencoders for Multi-Modal Glioma Segmentation},
author = {Mohammad Hamghalam and Alejandro F. Frangi and Baiying Lei and Amber L. Simpson},
journal= {arXiv preprint arXiv:2107.03442},
year = {2021}
}
备注
Accepted in MICCAI 2021