面向无监督域自适应的任务驱动生成建模：在X射线图像分割中的应用
计算机视觉与模式识别
2020-09-17 v1
摘要
X射线图像中解剖对象的自动解析对许多临床应用至关重要，特别是面向图像引导介入和工作流自动化。现有的深度网络模型需要大量标注数据。然而，由于解剖结构的大量重叠和复杂的纹理模式，在X射线图像中获得准确的像素级标注严重依赖熟练的临床医生。另一方面，3D CT扫描中的器官具有更清晰的结构和更锐利的边界，因此易于勾画。本文中，我们提出了一种从标注CT扫描学习自动X射线图像解析的新模型框架。具体而言，首先在由3D CT体数据渲染的X射线类数字重建放射图像(DRRs)上训练用于多器官分割的密集图像到图像网络(DI2I)。然后我们引入任务驱动生成对抗网络(TD-GAN)架构，以实现对未见真实X射线图像的同步风格迁移与解析。TD-GAN由一个用于DRRs与X射线图像间像素到像素转换的改进循环GAN子结构，以及一个利用预训练DI2I强制分割一致性的附加模块组成。TD-GAN框架具有通用性，可轻松适配其他学习任务。在数值实验中，我们在815张DRRs和153张断层成像图(topograms)上验证所提模型。未经任何自适应的原始DI2I在分割断层成像图上完全失败，而所提模型不需要任何断层成像图标注，能够提供85%的有前景的平均Dice系数，达到了与有监督训练(88%)同等的精度水平。
引用
@article{arxiv.1806.07201,
title = {Task Driven Generative Modeling for Unsupervised Domain Adaptation: Application to X-ray Image Segmentation},
author = {Yue Zhang and Shun Miao and Tommaso Mansi and Rui Liao},
journal= {arXiv preprint arXiv:1806.07201},
year = {2020}
}