利用流形解耦操控医学图像翻译
计算机视觉与模式识别
2020-11-30 v1 人工智能
摘要
医学图像翻译（例如 CT 到 MR）是一项具有挑战性的任务，因为它需要 I) 对域不变特征（例如解剖结构的形状信息）进行忠实翻译，以及 II) 对目标域特征（例如 MR 中的组织外观）进行真实合成。在这项工作中，我们提出了流形解耦生成对抗网络（MDGAN），一种显式建模这两类特征的新型图像翻译框架。它采用全卷积生成器来建模域不变特征，并使用风格编码将目标域特征分别建模为一个流形。该设计旨在显式解耦域不变特征和域特定特征，同时获得对两者的独立控制。图像翻译过程被表述为一种风格化任务，其中输入基于从学习到的流形中采样的风格编码被“风格化”（翻译）为多样化的目标域图像。我们在多模态医学图像翻译上测试了 MDGAN，在流形上创建了两个域特定流形簇，以将分割图分别翻译为伪 CT 和伪 MR 图像。我们表明，通过遍历 MR 流形簇上的一条路径，可以在仍保留输入形状信息的同时操控目标输出。
引用
@article{arxiv.2011.13615,
title = {Manipulating Medical Image Translation with Manifold Disentanglement},
author = {Siyu Liu and Jason A. Dowling and Craig Engstrom and Peter B. Greer and Stuart Crozier and Shekhar S. Chandra},
journal= {arXiv preprint arXiv:2011.13615},
year = {2020}
}