用于跨模态生物医学图像分割的对比图像合成与自监督特征适配
计算机视觉与模式识别
2023-09-04 v3
摘要
本工作提出了一个新颖的框架CISFA（对比图像合成与自监督特征适配，Contrastive Image synthesis and Self-supervised Feature Adaptation），该框架基于图像域翻译与无监督特征适配，用于跨模态生物医学图像分割。与现有工作不同，我们使用单边生成模型，并在输入图像的采样块与相应合成图像之间添加加权块级对比损失，作为形状约束。此外，我们注意到生成图像与输入图像共享相似的结构信息但处于不同模态。因此，我们对生成图像与输入图像施加对比损失，以训练分割模型的编码器，从而最小化所学嵌入空间中成对图像之间的差异。与依赖对抗学习进行特征适配的现有工作相比，这种方法使编码器能够以更显式的方式学习域无关特征。我们在包含腹部腔隙与全心脏的CT和MRI图像分割任务上广泛评估了我们的方法。实验结果表明，所提出的框架不仅输出的合成图像器官形状失真更小，而且大幅优于最先进的域适配方法。
引用
@article{arxiv.2207.13240,
title = {Contrastive Image Synthesis and Self-supervised Feature Adaptation for Cross-Modality Biomedical Image Segmentation},
author = {Xinrong Hu and Corey Wang and Yiyu Shi},
journal= {arXiv preprint arXiv:2207.13240},
year = {2023}
}