用于模态补全与分割联合的异模态变分编码器-解码器
图像与视频处理
2019-10-22 v1 计算机视觉与模式识别
摘要
我们提出一种新的深度学习方法，用于处理缺失成像模态时的肿瘤分割。我们的异模态变分 3D 编码器-解码器不是为每个可能的观测模态子集生成一个网络，或使用算术运算组合特征图，而是将所有观测模态独立嵌入到共享潜在表示中。缺失数据和肿瘤分割均可从该嵌入生成。在我们的场景中，输入是模态的随机子集。我们证明该优化问题可视为一种混合采样。此外，我们引入了一种基于 3D U-Net 和多模态变分自编码器（MVAE）的新网络架构。最后，我们使用 BraTS2018 以成像模态子集作为输入评估我们的方法。我们的模型优于当前处理缺失模态的 SOTA 方法，并达到与子集专用等效网络相似的性能。
引用
@article{arxiv.1907.11150,
title = {Hetero-Modal Variational Encoder-Decoder for Joint Modality Completion and Segmentation},
author = {Reuben Dorent and Samuel Joutard and Marc Modat and Sébastien Ourselin and Tom Vercauteren},
journal= {arXiv preprint arXiv:1907.11150},
year = {2019}
}
备注
Accepted at MICCAI 2019