协同图像与特征适配:面向医学图像分割的跨模态域适应
计算机视觉与模式识别
2019-06-19 v4
摘要
本文提出一种新颖的无监督域适应框架,称为协同图像与特征适配(SIFA),以有效解决域偏移问题。域适应已成为深度学习研究中重要且热门的课题,旨在将神经网络应用于新测试域时恢复性能退化。我们提出的 SIFA 是一种优雅的学习框架,呈现了从图像和特征双重视角进行适配的协同融合。具体而言,我们同时跨域转换图像外观并增强所提取特征针对分割任务的域不变性。特征编码器层由双重视角共享,以在端到端学习过程中把握其相互益处。在不使用来自目标域的任何标注的情况下,我们统一模型的学习由对抗损失引导,并从多方面采用多个判别器。我们已通过一个具有挑战性的心脏结构跨模态医学图像分割应用广泛验证了我们的方法。实验结果表明,我们的 SIFA 模型将退化的性能从 17.2% 恢复到 73.0%,并以显著优势超越 SOTA 方法。
引用
@article{arxiv.1901.08211,
title = {Synergistic Image and Feature Adaptation: Towards Cross-Modality Domain Adaptation for Medical Image Segmentation},
author = {Cheng Chen and Qi Dou and Hao Chen and Jing Qin and Pheng-Ann Heng},
journal= {arXiv preprint arXiv:1901.08211},
year = {2019}
}
备注
AAAI 2019 (oral)