基于空间条件生成对抗网络的手持超声图像模拟
机器学习
2017-09-19 v1 计算机视觉与模式识别
摘要
超声合成具有广泛的应用，包括医疗程序模拟、临床培训和多模态图像配准。在本文中，我们提出了一种基于条件生成对抗网络（GANs）的机器学习方法，用于在给定的 3D 空间位置（相对于患者解剖结构）模拟超声图像。具体而言，我们引入了一种新颖的神经网络架构，能够根据（真实或模拟的）手持超声探头的空间位置，条件性地采样出解剖结构准确的图像。为了确保有效且高效的空间信息融合，所提出的空间条件 GANs 将全局物理空间中的校准像素坐标作为条件输入，并分别在 GANs 的判别器和生成器中利用残差网络单元和条件数据的捷径连接。使用由经验丰富的超声医师在胎儿体模上采集的光学追踪 B 模式超声图像，我们通过两组定量结果证明了该方法的可行性：计算了在网络未见过的相同位置上，保留超声图像中识别出的对应解剖标志点与模拟数据之间的距离；进行了一项可用性研究以区分模拟数据与真实图像。总之，我们展示了我们认为具有最先进视觉真实感的超声图像，这些图像由所提出的 GAN 架构模拟生成，该架构训练稳定且能够生成合理多样的图像样本。
引用
@article{arxiv.1707.05392,
title = {Freehand Ultrasound Image Simulation with Spatially-Conditioned Generative Adversarial Networks},
author = {Yipeng Hu and Eli Gibson and Li-Lin Lee and Weidi Xie and Dean C. Barratt and Tom Vercauteren and J. Alison Noble},
journal= {arXiv preprint arXiv:1707.05392},
year = {2017}
}
备注
Accepted to MICCAI RAMBO 2017