基于解耦表示的无监督域适应：在跨模态肝脏分割中的应用
图像与视频处理
2019-08-30 v2 计算机视觉与模式识别
摘要
在某一源域的部分标注数据上训练的深度学习模型，由于域偏移，通常在来自不同目标域的数据上表现不佳。无监督域适应方法通过缓解标注源数据与无标注目标数据之间的域偏移来解决此问题。在本工作中，我们通过解耦表示实现跨模态域适应，即CT与MRI图像之间的适应。与作为当前最优的CycleGAN学习一对一映射相比，我们的模型恢复了域间的多对多映射以捕捉复杂的跨域关系。它通过寻找一个共享内容空间而非直接的逐像素风格迁移来保留语义特征级信息。域适应分两步实现。首先，将各域的图像嵌入两个空间：一个共享的域不变内容空间和一个域特定风格空间。接着，提取内容空间中的表示以执行任务。我们在一个跨模态肝脏分割任务上验证了我们的方法，即在CT图像上训练一个肝脏分割模型并使其在MRI上也表现良好。我们的方法取得了0.81的Dice相似系数（DSC），优于基于CycleGAN方法的0.72。此外，我们的模型对联合域学习具有良好的泛化能力，其中来自不同模态的未配对数据被联合学习以提升各单独模态上的分割性能。最后，在一个具有显著多样性的多模态目标域下，我们的方法展现了多样图像生成的潜力，并在多期相MRI上以0.74的DSC保持有效，而基于CycleGAN的方法表现糟糕，DSC仅为0.52。
引用
@article{arxiv.1907.13590,
title = {Unsupervised Domain Adaptation via Disentangled Representations: Application to Cross-Modality Liver Segmentation},
author = {Junlin Yang and Nicha C. Dvornek and Fan Zhang and Julius Chapiro and MingDe Lin and James S. Duncan},
journal= {arXiv preprint arXiv:1907.13590},
year = {2019}
}