用于多模态医学分割图的形状一致性生成对抗网络
图像与视频处理
2022-02-07 v2 计算机视觉与模式识别
机器学习
摘要
跨域图像转换在非配对数据集上近来引起了广泛关注并取得了巨大进展。在医学成像中，存在多种成像模态，其特征差异很大。我们的目标是利用 CT 和 MRI 全心扫描之间的跨模态自适应进行语义分割。我们提出了一种使用合成心脏容积的、适用于极其有限数据集的分割网络。我们的解决方案基于一个三维跨模态生成对抗网络，用于在模态间共享信息，并利用非配对数据集生成合成数据。该网络利用语义分割来改进生成器的形状一致性，从而创建更逼真的合成容积，用于重新训练分割网络。我们表明，在使用空间增强来改进生成对抗网络时，可以在小数据集上实现更好的分割效果。这些增强提升了生成器的能力，从而提高了分割器的性能。仅使用 16 个 CT 和 16 个 MRI 心血管容积，在采用所建议的架构时，就取得了优于其他分割方法的结果。
引用
@article{arxiv.2201.09693,
title = {Shape-consistent Generative Adversarial Networks for multi-modal Medical segmentation maps},
author = {Leo Segre and Or Hirschorn and Dvir Ginzburg and Dan Raviv},
journal= {arXiv preprint arXiv:2201.09693},
year = {2022}
}