AdaptDiff：基于弱条件语义扩散的跨模态域适应用于视网膜血管分割
计算机视觉与模式识别
2024-10-08 v1
摘要
深度学习在医学图像分割方面表现出惊人的性能。然而，由于无法有效迁移到未见域、数据分布迁移以及缺乏手动标注引导域适应，深度学习在实际应用中面临诸多挑战。为解决此问题，我们提出了一种无监督域适应（UDA）方法AdaptDiff，使在糖尿病视网膜相机（fundus photography, FP）上训练的视网膜血管分割网络能够在未见模态（如OCT-A）上产出令人满意的结果，而无需任何手动标注。对于所有目标域，我们首先采用在源域上训练的分割模型创建伪标签。通过这些伪标签，我们训练条件语义扩散概率模型以表示目标域分布。实验表明，即使伪标签质量较低，扩散模型仍能捕获条件语义信息。随后，我们使用来自源域的二值血管掩码在目标域上进行采样，以获得配对数据，即以二值血管图为条件生成目标域合成图像。最后，我们使用这些合成配对数据微调预训练的分割网络以缓解域间差距。我们在跨越三个不同模态的七个公开数据集上评估了AdaptDiff的有效性。我们的結果在所有未见数据集上实现了显著的分割性能提升。我们的代码已公开于https://github.com/DeweiHu/AdaptDiff。
引用
@article{arxiv.2410.04648,
title = {AdaptDiff: Cross-Modality Domain Adaptation via Weak Conditional Semantic Diffusion for Retinal Vessel Segmentation},
author = {Dewei Hu and Hao Li and Han Liu and Jiacheng Wang and Xing Yao and Daiwei Lu and Ipek Oguz},
journal= {arXiv preprint arXiv:2410.04648},
year = {2024}
}