Meta-hallucinator:面向少样本跨模态心脏图像分割
计算机视觉与模式识别
2023-05-12 v1 人工智能
图像与视频处理
摘要
域偏移与标注稀缺严重限制了深度学习在各种医学图像分析任务中的应用。无监督域适应(UDA)技术近期通过从标注丰富的源域向无标注目标域迁移知识,在跨模态医学图像分割上取得了有前景的结果。然而,在许多临床应用中同样难以从源域收集标注,使得多数先前工作在源域标注稀缺时(尤其是仅能获取少量源标注的少样本场景)表现次优。为实现高效的少样本跨模态分割,我们提出了一种新颖的变换一致元幻觉框架 meta-hallucinator,旨在学习多样化数据分布并生成有用样本以提升跨模态性能。在我们的框架中,幻觉模型与分割模型通过基于梯度的元学习策略联合训练,以合成出能在目标域上带来良好分割性能的样本。为进一步促进数据幻觉与跨域知识迁移,我们开发了具有幻觉一致性的自集成模型。我们的 meta-hallucinator 可与 meta-segmenter 无缝协作,从元学习与自集成学习结合的视角互利学习幻觉。在 MM-WHS 2017 数据集上针对跨模态心脏分割的广泛研究表明,我们的方法在少样本 UDA 场景下大幅优于多种方法。
引用
@article{arxiv.2305.06978,
title = {Meta-hallucinator: Towards Few-Shot Cross-Modality Cardiac Image Segmentation},
author = {Ziyuan Zhao and Fangcheng Zhou and Zeng Zeng and Cuntai Guan and S. Kevin Zhou},
journal= {arXiv preprint arXiv:2305.06978},
year = {2023}
}
备注
Accepted by MICCAI 2022 (top 13% paper; early accept)